นี่คือrobots.txtของฉัน:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://www.example.org/sitemap.xml.gz
แต่ Google Webmaster Tools บอกฉันว่าโรบอตกำลังปิดกั้นการเข้าถึงแผนผังไซต์:
เราพบข้อผิดพลาดขณะพยายามเข้าถึง Sitemap ของคุณ โปรดตรวจสอบแผนผังไซต์ของคุณปฏิบัติตามแนวทางของเราและสามารถเข้าถึงได้ในสถานที่ที่คุณให้แล้วส่งอีกครั้ง: URL ที่ จำกัด โดย robots.txt
ฉันอ่านว่า Google เครื่องมือของผู้ดูแลเว็บแคชrobots.txtแต่ไฟล์ได้รับการอัปเดตมากกว่า 36 ชั่วโมงที่แล้ว
ปรับปรุง:
การกดปุ่ม TEST Sitemap จะไม่ทำให้ Google ดึงแผนผังไซต์ใหม่ แผนผังไซต์ SUBMIT เท่านั้นที่สามารถทำได้ (BTW ฉันไม่เห็นสิ่งที่เป็นจุดใน 'ทดสอบ sitemap' ยกเว้นว่าคุณวาง sitemap ปัจจุบันของคุณในนั้น - ไม่ดึงสำเนา sitemap ใหม่จากที่อยู่ที่ขอให้คุณป้อนก่อนการทดสอบ - แต่นั่นคือ คำถามอีกวัน)
หลังจากส่ง (แทนการทดสอบ) แผนผังเว็บไซต์ใหม่สถานการณ์เปลี่ยนไป ตอนนี้ฉันได้รับ "URL ที่ถูกบล็อกโดยrobots.txtแผนผังไซต์มี URL ที่ถูกปิดกั้นโดยrobots.txt " สำหรับ 44 URL มี URL ทั้งหมด 44 รายการในแผนผังไซต์ ซึ่งหมายความว่า Google ใช้แผนผังไซต์ใหม่ แต่ยังคงเป็นไปตามกฎของโรบอตเก่า (ซึ่งเก็บทุกอย่างไม่ จำกัด )ไม่มี URL 44 รายการที่อยู่ใน/wp-admin/หรือ/wp-includes/(ซึ่งเป็นไปไม่ได้เลยเพราะrobots.txtสร้างขึ้นบน บินโดยปลั๊กอินเดียวกันที่สร้างแผนผังเว็บไซต์)
อัปเดต 2:
มันแย่ลง: ในหน้าผลการค้นหาของ Google คำอธิบายสำหรับหน้าแรกจะอ่าน: "คำอธิบายสำหรับผลลัพธ์นี้ไม่สามารถใช้งานได้เนื่องจากrobots.txtของเว็บไซต์นี้- เรียนรู้เพิ่มเติม" หน้าอื่น ๆ ทั้งหมดมีคำอธิบายที่ดี ไม่มีrobots.txtหรือ meta robots ที่ปิดกั้นการทำดัชนีของหน้าแรก
ผมติดอยู่.
