ฉันจะสนับสนุนให้ Google อ่านไฟล์ robots.txt ใหม่ได้อย่างไร

22

ฉันเพิ่งอัปเดตไฟล์ robots.txt ของฉันในเว็บไซต์ใหม่ Google เครื่องมือของผู้ดูแลเว็บรายงานว่าอ่าน robots.txt ของฉัน 10 นาทีก่อนการอัปเดตครั้งล่าสุดของฉัน

มีวิธีใดบ้างที่ฉันสามารถสนับสนุนให้ Google อ่าน robots.txt ของฉันอีกครั้งโดยเร็วที่สุด

อัปเดต: ภายใต้การกำหนดค่าไซต์ | การเข้าถึงของโปรแกรมรวบรวมข้อมูล ทดสอบ robots.txt:

การเข้าถึงหน้าแรกแสดง:

Googlebot ถูกบล็อกจากhttp://my.example.com/

FYI: robots.txt ที่ Google อ่านครั้งล่าสุดมีลักษณะดังนี้:

User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /

ฉันยิงตัวเองด้วยเท้าหรือไม่หรือจะอ่านในที่สุด: http: ///robots.txt (เหมือนครั้งที่แล้วที่อ่านครั้งสุดท้าย)

มีความคิดเห็นเกี่ยวกับสิ่งที่ฉันต้องทำอย่างไร

google robots.txt google-webmaster-tools

— qxotk
แหล่งที่มา

FYI: ไซต์นี้เป็นเว็บไซต์ใหม่และข้อความนี้ปรากฏในการตั้งค่า | อัตราการรวบรวมข้อมูล: "เว็บไซต์ของคุณได้รับการตั้งค่าอัตราการรวบรวมข้อมูลพิเศษคุณจะไม่สามารถเปลี่ยนอัตราการรวบรวมข้อมูลได้"

— qxotk

FYI: ฉันพบการโพสต์ในกลุ่ม google ที่บอกว่า google จะอ่าน robots.txt "อย่างน้อยวันละครั้ง" - ทุกคนสามารถยืนยันได้หรือไม่ [โพสต์กลุ่ม google อยู่ที่นี่: groups.google.com/group/google_webmaster_help-indexing/… ]

— qxotk

FYI: 1 วันผ่านไปแล้วและ Google ยังไม่ได้อ่าน robots.txt ที่อัปเดตของฉัน

— qxotk

ปัญหาเดียวกันที่นี่นี่ไม่ใช่ "คุณสมบัติ" ...

— mate64

25

ในกรณีที่บุคคลอื่นประสบปัญหานี้มีวิธีบังคับให้ google-bot ดาวน์โหลดไฟล์ robots.txt อีกครั้ง

ไปที่ Health -> Fetch as Google [1] แล้วนำไปใช้ /robots.txt

ที่จะดาวน์โหลดไฟล์อีกครั้งและ Google จะแยกไฟล์อีกครั้ง

[1] ใน Google UI ก่อนหน้านี้เป็น 'การวินิจฉัย -> ดึงข้อมูลเป็น GoogleBot'

— ด้าน
แหล่งที่มา

11

แต่น่าเสียดายที่นี้จะไม่ทำงานถ้า robots.txt Disallow: /ของคุณถูกตั้งค่าให้ แต่การดึงข้อมูลรายงาน "ปฏิเสธโดย robots.txt": /

— studgeek

3

ครั้งต่อไปเพิ่มบรรทัดนี้ อนุญาต: /robots.txt

— jrosell

ฉันไม่พบ 'การวินิจฉัย' อาจมีการเปลี่ยนแปลง UI หรือไม่

— David Riccitelli

2

ตกลงตอนนี้เป็นสุขภาพ> ดึงข้อมูลเป็น Google

— David Riccitelli

ไม่ทำงานสำหรับฉันเมื่อฉันพยายามดึง robots.txt ข้อผิดพลาด: "ไม่สามารถรวบรวมข้อมูลหน้าได้ในขณะนี้เนื่องจากถูกบล็อกโดยไฟล์ robots.txt ล่าสุดที่ Googlebot ดาวน์โหลดมาโปรดทราบว่าหากคุณอัปเดตไฟล์ robots.txt เมื่อเร็ว ๆ นี้อาจใช้เวลาถึงสองวันก่อนที่จะรีเฟรช คุณสามารถค้นหาข้อมูลเพิ่มเติมได้ในบทความในศูนย์ช่วยเหลือเกี่ยวกับ robots.txt "

— Indrek

4

ฉันรู้ว่านี่เก่ามาก แต่ ... หากคุณอัปโหลด robots.txt ผิด (ไม่อนุญาตทุกหน้า) คุณสามารถลองทำสิ่งต่อไปนี้:

ก่อนอื่นให้แก้ไข robots.txt ของคุณเพื่อให้หน้าถูกต้องจากนั้น
อัปโหลด sitemap.xml พร้อมหน้าของคุณ

เมื่อ google พยายามอ่าน xml sitemap มันจะตรวจสอบให้แน่ใจว่ามันใช้ robots.txt บังคับให้ Google อ่าน robots.txt ของคุณอีกครั้ง

— Hussam
แหล่งที่มา

สิ่งนี้ไม่ได้ผลสำหรับฉัน มันบอกว่า sitemap ถูกปิดกั้นโดย robots.txt

— James

1

ตกลง. นี่คือสิ่งที่ฉันทำและภายในไม่กี่ชั่วโมง Google จะอ่านไฟล์ robots.txt ของฉันอีกครั้ง

เรามี 2 ไซต์สำหรับทุก ๆ 1 ไซต์ที่เราเปิด มาเรียกพวกเขาว่าเว็บไซต์ canonical (www.mysite.com) และเว็บไซต์ที่ไม่มีโดเมน (mysite.com)

เรามีการตั้งค่าเว็บไซต์ของเราเพื่อให้ mysite.com ส่งคืนการเปลี่ยนเส้นทาง 301 ไปยัง www.mysite.com เสมอ

เมื่อฉันติดตั้งทั้งสองเว็บไซต์ในเครื่องมือ Google Webmaster บอกว่า www.mysite.com เป็นเว็บไซต์ที่เป็นที่ยอมรับไม่นานหลังจากอ่านไฟล์ robots.txt บนเว็บไซต์ที่เป็นที่ยอมรับ

ฉันไม่รู้จริงๆว่าทำไม แต่นั่นคือสิ่งที่เกิดขึ้น

— qxotk
แหล่งที่มา

3

ฉันรู้ว่ามันเก่า แต่การยอมรับคำตอบของคุณเองนั้นถูกต้อง 100%

— Mark Henderson

0

ลดช่วงเวลาการสแกนของ Google เป็นเวลาหลายวัน

นอกจากนี้ฉันเคยเห็น buttom เพื่อยืนยัน robots.txt ของคุณซึ่งอาจบังคับให้ google แต่ฉันไม่แน่ใจ

— BarsMonster
แหล่งที่มา

คุณจะเจาะจงมากขึ้นได้ไหม? ฉันเห็น: การกำหนดค่าไซต์ | การเข้าถึงของโปรแกรมรวบรวมข้อมูล ทดสอบ robots.txt แต่นั่นเป็นการทดสอบข้อความที่คุณวางในกล่องไม่ใช่ไฟล์ robots.txt ที่ถ่ายทอดสดของคุณ - และนี่คือที่ที่จะบอกฉันเมื่อมีการดาวน์โหลดครั้งล่าสุด ปุ่ม "ยืนยัน" ที่คุณพูดถึงอยู่ที่ไหน

— qxotk