Hello Bots ทักทายต้อนรับบอท ด้วย robots.txt

การสร้างไฟล์ robots.txt ไว้ในเว็บไซต์ของเรานั้น นอกจากเพื่อเป็นการบอกบอทให้ทราบถึงสิทธิ์การเข้าถึงข้อมูลบนเว็บไซต์ของเราแล้ว การมีอยู่ของไฟล์ robots.txt นั้นยังมีผลต่อการทำ SEO ของเราด้วย ซึ่งหลาย ๆ คนอาจจะไม่ได้นึกถึงข้อนี้ด้วยซ้ำ

เจ้าของเว็บไซต์หรือ Webmaster หลาย ๆ ท่านเมินที่จะเขียนไฟล์ robots.txt โดยให้เหตุผลกับตัวเองว่า เว็บไซต์ของเราไม่มีไฟล์หรือข้อมูลอะไรที่จะต้องหวงห้าม เลยไม่เขียนไฟล์ robots.txt เสียเลย

ซึ่งความคิดข้างต้นก็ไม่ผิดอะไรค่ะ แต่เป็นการมองข้ามการทำ SEO ไปอย่างน่าเสียดาย เพราะการมีไฟล์ robots.txt นั้น ช่วยสร้างความน่าเชื่อให้กับเว็บไซต์ของเราได้ เพราะจากการที่เคยได้ทดลองมา กับเว็บไซต์ ๆ หนึ่ง ซึ่งตอนแรก ๆ ก็คิดตามด้านบนคือไม่มีไฟล์หวงห้ามอะไร ก็เลยไม่ได้สร้างไฟล์ robots.txt ซึ่งหลังจากดูแลเว็บไซต์นี้ไป ผลปรากฏว่าทำอันดับช้ามาก ๆ คือทั้ง ๆ ที่อัพเดตเว็บแทบจะทุกวัน แต่อันดับเว็บก็ไม่ขยับซักที แถมจะขยับทีนานมาก ๆ (เปลี่ยนแคชที ก็ขยับที) เป็นครึ่งเดือนถึงจะเปลี่ยนอันดับที

ซึ่งตอนนั้น ก็ได้ศึกษาเรื่องของไฟล์ robots.txt และดูจาก Webmaster Tool ก็จะเห็นว่าบอทมันเข้าไปเก็บข้อมูลที่เว็บเราทุกวัน และมีการฟ้องว่าหาไฟล์ robots.txt ไม่เจอ เลยคิดว่ามันน่าจะมีความหมายอะไรอยู่ เลยลองเพิ่มไฟล์ robots.txt เข้าไป โดยตอนแรกสร้างไฟล์ robots.txt ดังนี้

User-agent: *
Allow: /

ปรากฏว่าเว็บทำอันดับได้ดีขึ้น ทำอันดัีบได้ง่ายขึ้น การเปลี่ยนแคชของ Google มีความถี่มากขึ้น ใช้เวลาน้อยลง ไม่ดองเค็มเว็บไซต์ของเรา จากเดิมที่เกินครึ่งเดือนถึงจะเปลี่ยนแคชที เปลี่ยนอันดับที (ทั้ง ๆ ที่ก็อัพเดตเว็บทุกวัน) ก็กลายเป็นใช้เวลาน้อยลงเรื่อย ๆ

และจากการลองโน่นนี่ ก็ทำให้ได้รู้ว่า ไฟล์ robots.txt นั้นมีประโยชน์จริง ๆ ไม่ใช่มีประโยชน์แค่เอาไว้กำหนดสิทธิ์การเข้าถึงไฟล์แค่เพียงอย่างเดียวอย่างที่เราคิดในตอนแรก เพราะงั้นจึงลองหาข้อมูลเพิ่มเติมเกี่ยวกับ robots.txt จนได้ทราบว่าเราสามารถระบุไฟล์ sitemap.xml ของเราลงใน robots.txt ได้ด้วย ซึ่งจะเขียนไฟล์ robots.txt ได้ดังนี้

User-agent: *
Allow: /
Sitemap: http://www.thainextstep.com/sitemap.xml

และแล้วหลังจากทำไปไม่นาน ปรากฏว่าได้ผลดีเกินคาด ทำอันดับได้ดีขึ้น และเปลี่ยนแคช และอันดับได้เร็วขึ้น ทำให้ใช้เวลาในการไต่อันดับน้อยลง เช่น เราอัพเดตเว็บไซต์เราวันนี้ อย่างช้าพรุ่งนี้ แคชก็จะเปลี่ยน และมีผลกับอันดับเราด้วย จนเดียวนี้อัพเดตเว็บทุกวันแคชเปลี่ยนทุกวัน (เว็บที่อัพเดตทุก ๆ วัน จะเห็นผลอย่างชัดเจน)

ตอนหลังเลยสรุปได้ว่า robots.txt นั้นก็เหมือนการทักทายบอทนั่นเอง เป็นการบอกกับบอทว่าไซต์นี้ยินดีต้อนรับบอทนะ (คงเหมือนเราไปเที่ยวที่ ๆ หนึ่ง แล้วมีคนออกมาต้อนรับ บอกแนะนำสถานที่ให้เรา ว่าเราต้องไปทางไหน ตรงไหนมีอะไร และเมื่อเราไปเจออะไรใหม่ ๆ ถูกใจ ก็เก็บข้อมูลกลับ ซึ่งเราคงจะประทับใจ มากกว่าการไปเที่ยวที่บางที่ ที่ไปถึงแล้วก็ไม่มีใครมาต้อนรับ ซึ่งเราก็ไม่รู้ว่าจะไปที่ไหน มีอะไรบ้าง ทำได้แค่มาแล้วก็เดินเคว้งไปเคว้งมา จนเบื่อ ๆ แล้วก็กลับ ไม่ได้ข้อมูลอะไรไปเลย) เพราะงั้นระหว่างเว็บไซต์ที่มี robots.txt กับเว็บไซที่ไม่มี robots.txt บอทก็ต้องให้เครดิตเว็บไซต์แรกดีกว่า (ในเรื่องบางเรื่อง) อยู่แล้ว … ว่าแล้วใครที่ยังไม่ได้สร้าง ก็ลองไปสร้าง robots.txt กันเลยค่ะ