ฉันขอให้ Google ตรวจสอบ robots.txt ของฉันได้ไหม

ฉันอ่านคำตอบในคำถามนี้แล้ว แต่คำถามยังคงเปิดอยู่: Google cache robots.txt หรือไม่

ฉันไม่พบวิธีใน Google เครื่องมือของผู้ดูแลเว็บเพื่อเรียกใช้การดาวน์โหลดrobots.txtของฉันอีกครั้ง

ด้วยข้อผิดพลาดบางอย่างrobots.txtของฉันก็ถูกแทนที่ด้วย:

User-agent: *
Disallow: /

และตอนนี้เนื้อหาทั้งหมดของฉันถูกลบออกจากผลการค้นหาของ Google

เห็นได้ชัดว่าฉันสนใจที่จะแก้ไขปัญหานี้โดยเร็วที่สุด ฉันแทนที่robots.txtแล้ว แต่ฉันหาวิธีทำให้ Google อัปเดตเวอร์ชันที่เก็บไว้ไม่ได้

คุณไม่สามารถทำให้พวกเขาดาวน์โหลด robots.txt ของคุณอีกครั้งเมื่อคุณต้องการ Google จะรวบรวมข้อมูลอีกครั้งและใช้ข้อมูลใหม่เมื่อใดก็ตามที่รู้สึกว่าเหมาะสมสำหรับเว็บไซต์ของคุณ พวกเขามีแนวโน้มที่จะรวบรวมข้อมูลเป็นประจำดังนั้นฉันจะไม่คาดหวังว่าจะใช้เวลานานกว่าจะพบไฟล์ที่อัปเดตของคุณและหน้าเว็บของคุณจะถูกรวบรวมข้อมูลและจัดทำดัชนีอีกครั้ง โปรดทราบว่าอาจใช้เวลาสักครู่หลังจากพบไฟล์ robots.txt ใหม่ก่อนที่หน้าเว็บของคุณจะได้รับการรวบรวมข้อมูลอีกครั้งและยิ่งกว่านั้นเวลาที่จะปรากฏขึ้นอีกครั้งในผลการค้นหาของ Google

ฉันประสบปัญหาเดียวกันเมื่อฉันเริ่มเว็บไซต์ใหม่www.satyabrata.comในวันที่ 16 มิถุนายน

ฉันมีDisallow: /ในrobots.txtของฉันเหมือนโอลิเวอร์ นอกจากนี้ยังมีข้อความเตือนใน Google Webmaster Tools เกี่ยวกับ URL ที่ถูกบล็อก

ปัญหาได้รับการแก้ไขเมื่อวานนี้วันที่ 18 มิถุนายนฉันทำสิ่งต่อไปนี้ ฉันไม่แน่ใจว่าขั้นตอนใดใช้ได้ผล

1. สุขภาพ -> ดึงข้อมูลเป็น Google: robots.txtและหน้าแรก จากนั้นส่งไปยังดัชนี
2. การตั้งค่า -> โดเมนที่แสดงล่วงหน้า: URL ที่แสดงเป็น www.satyabrata.com
3. การเพิ่มประสิทธิภาพ -> แผนผังไซต์: เพิ่มแผนผังไซต์ XML

ข้อความแจ้งเตือนเกี่ยวกับ URL ที่ถูกบล็อกหายไปแล้วและrobots.txtใหม่จะถูกดาวน์โหลดใน Google Webmaster Tools

ปัจจุบันฉันมีเพียงสองหน้าการจัดทำดัชนีใน Google, หน้าแรกและrobots.txt ฉันมี 10 หน้าในเว็บไซต์ ฉันหวังว่าส่วนที่เหลือจะได้รับการจัดทำดัชนีในไม่ช้า

ฉันมีปัญหาในการย้ายรูปภาพไปยังเซิร์ฟเวอร์ CNAME แยกจากกันและไม่อนุญาตให้ใส่ลงในโฟลเดอร์รูปภาพ วิธีที่ฉันทำให้ชัดเจนคือให้เรียก robots.txt ในเครื่องมือของผู้ดูแลเว็บอ่านหน้าเว็บเป็นเครื่องมือของ Google เมื่อมันบอกฉันว่ามันได้รับและอ่าน robots.txt ฉันก็ส่งมัน สิ่งนี้ส่งผลให้ต้องห้ามการสแกนภาพสามเดือนซึ่ง Google รายงานว่ากำลังอ่านไฟล์ robots.txt แต่ไม่ได้เปลี่ยนการ spidering เพื่อให้ตรงกับกฎที่เปลี่ยนเพื่ออนุญาตให้โฟลเดอร์รูปภาพ ภายในหนึ่งสัปดาห์ภาพจะถูกจัดทำดัชนีอีกครั้ง

อาจจะคุ้มค่ากับการลอง เป็นที่ทราบกันว่า Google ติดขัดและไม่สามารถอ่านไฟล์ซ้ำได้

ผมหวังว่าการเชื่อมโยงนี้จะช่วยให้คุณรวบรวมข้อมูลเว็บไซต์ของคุณ: https://support.google.com/adsense/answer/10532?hl=en

ลบออก/จากไฟล์robots.txtของคุณ

ในกรณีของฉันปัญหาคือว่าฉันใช้บริการ DNS ฟรีที่ชื่อว่า fear.org

(โดเมนฟรีของฉันสิ้นสุดลงใน.us.to)

เมื่อฉันเปลี่ยนเป็น TLD มันก็เริ่มทำงาน