ฉันวิ่งข้ามบทความนี้ในข่าว SEO ของฉันวันนี้ มันดูเหมือนจะบ่งบอกว่าคุณคุณสามารถใช้Noindex:คำสั่งนอกเหนือไปจากมาตรฐานDisallow:สั่งในrobots.txt
Disallow: /page-one.html
Noindex: /page-two.html
ดูเหมือนว่าจะป้องกันไม่ให้เครื่องมือค้นหารวบรวมข้อมูลหน้าหนึ่งและป้องกันไม่ให้เครื่องมือสร้างดัชนีหน้าสอง
robots.txtนี้ได้รับการสนับสนุนจาก Google และเครื่องมือค้นหาอื่น ๆ หรือไม่ มันใช้งานได้หรือไม่ มันเป็นเอกสารหรือไม่?
disallowหยุดให้ Google ค้นพบลิงก์ในหน้าหลักและหน้ารองหากมีอยู่ ในขณะที่noindexเพียงแค่หยุดหน้าเว็บที่มีการระบุไว้มันไม่ได้หยุดการค้นพบในขณะที่ไม่อนุญาต
nofollowทำงานสำหรับเมตาแท็ก มันจะดีจะทราบว่าเป็นกรณีสำหรับrobots.txt
<a rel="no-follow">ก็เหมือนกัน ฉันไม่เห็นเหตุผลว่าทำไมมันถึงได้รับการปฏิบัติที่แตกต่างกัน เห็นได้ชัดว่านี่ไม่เป็นทางการและแนะนำโดย John Muller ที่จะไม่ใช้ใน robots.txt แต่นอกเหนือจากทวีตของเขาฉันยังไม่สามารถหาข้อมูลเกี่ยวกับมันได้
Noindexคำสั่งภายในrobots.txtไฟล์เป็นข้อผิดพลาดอีกต่อไป