“ Noindex:” ใน robots.txt ทำงานอย่างไร


10

ฉันวิ่งข้ามบทความนี้ในข่าว SEO ของฉันวันนี้ มันดูเหมือนจะบ่งบอกว่าคุณคุณสามารถใช้Noindex:คำสั่งนอกเหนือไปจากมาตรฐานDisallow:สั่งในrobots.txt

Disallow: /page-one.html
Noindex: /page-two.html

ดูเหมือนว่าจะป้องกันไม่ให้เครื่องมือค้นหารวบรวมข้อมูลหน้าหนึ่งและป้องกันไม่ให้เครื่องมือสร้างดัชนีหน้าสอง

robots.txtนี้ได้รับการสนับสนุนจาก Google และเครื่องมือค้นหาอื่น ๆ หรือไม่ มันใช้งานได้หรือไม่ มันเป็นเอกสารหรือไม่?


ฉันไม่รู้ ... บุนี้อาจมีประโยชน์มากสำหรับบางคน และฉันก็อยากจะเห็นว่าแผนผังไซต์มีการสื่อสารที่มากขึ้น ระหว่างโรบอตและแผนผังไซต์นี่เป็นโอกาสทองในการสื่อสารกลับไปยังเครื่องมือค้นหาและอื่น ๆ เกี่ยวกับไซต์ ฉันชอบโอกาสที่จะใช้ข้อความเพื่อแจ้งเครื่องมือค้นหาเกี่ยวกับเว็บไซต์ในลักษณะที่แตกต่างจากการให้บริการในการค้นหาเช่นหน้าเกี่ยวกับราวกับว่าคุณมีโอกาสได้คุยกับผู้ตรวจสอบไซต์ของ Google โดยตรง มันสามารถช่วยบรรเทาอาการปวดใจและความเข้าใจผิด โอกาสที่จะพูดว่า Ooopppsss ฉันโง่ - ขอโทษ
Closnoc

ฉันอยู่ภายใต้การแสดงผลที่disallowหยุดให้ Google ค้นพบลิงก์ในหน้าหลักและหน้ารองหากมีอยู่ ในขณะที่noindexเพียงแค่หยุดหน้าเว็บที่มีการระบุไว้มันไม่ได้หยุดการค้นพบในขณะที่ไม่อนุญาต
Simon Hayter

@SimonHayter ฉันรู้ว่านั่นเป็นวิธีการnofollowทำงานสำหรับเมตาแท็ก มันจะดีจะทราบว่าเป็นกรณีสำหรับrobots.txt
Stephen Ostermiller

เฮ้ @StephenOstermiller ไม่เพียง แต่เมตาแท็กมัน<a rel="no-follow">ก็เหมือนกัน ฉันไม่เห็นเหตุผลว่าทำไมมันถึงได้รับการปฏิบัติที่แตกต่างกัน เห็นได้ชัดว่านี่ไม่เป็นทางการและแนะนำโดย John Muller ที่จะไม่ใช้ใน robots.txt แต่นอกเหนือจากทวีตของเขาฉันยังไม่สามารถหาข้อมูลเกี่ยวกับมันได้
Simon Hayter

เป็นที่น่าสังเกตว่า Google จะไม่ติดธงNoindexคำสั่งภายในrobots.txtไฟล์เป็นข้อผิดพลาดอีกต่อไป
Aran

คำตอบ:


9

Google เคยสนับสนุนNoindexคำสั่งใน robots.txt อย่างไม่เป็นทางการอย่างไรก็ตามในปี 2019 พวกเขาประกาศว่าคำสั่งจะไม่ทำงานอีกต่อไป

นี่คือสิ่งที่John MuellerNoindex:ของ Google กล่าวถึงในrobots.txt :

เราใช้เพื่อสนับสนุนคำสั่งห้ามดัชนีใน robots.txt เป็นคุณลักษณะทดลอง แต่มันเป็นสิ่งที่ฉันจะไม่พึ่งพา และฉันไม่คิดว่าเครื่องมือค้นหาอื่น ๆ ใช้สิ่งเหล่านี้เลย

ก่อนที่ Google จะประกาศยกเลิกคุณลักษณะนี้ Deepcrawl.com ได้ทำการทดสอบคุณสมบัติและพบว่า:

  • ก่อนปี 2019 มันยังคงทำงานร่วมกับ Google
  • มันป้องกันไม่ให้ URL ปรากฏในดัชนีการค้นหา
  • URL ที่ไม่มีการรวมไว้ในrobots.txtถูกทำเครื่องหมายไว้ใน Google Search Console

เนื่องจาก Google ได้ยกเลิกคุณลักษณะนี้จึงไม่ควรใช้อีกต่อไป

ให้ใช้เมตาแท็กของ robots ที่ได้รับการสนับสนุนและจัดทำเอกสารอย่างดีเพื่อป้องกันการสร้างดัชนี:

<meta name="robots" content="noindex" />
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.