คำถามติดแท็ก robots.txt

ฉันเพิ่งอัปเดตไฟล์ robots.txt ของฉันในเว็บไซต์ใหม่ Google เครื่องมือของผู้ดูแลเว็บรายงานว่าอ่าน robots.txt ของฉัน 10 นาทีก่อนการอัปเดตครั้งล่าสุดของฉัน มีวิธีใดบ้างที่ฉันสามารถสนับสนุนให้ Google อ่าน robots.txt ของฉันอีกครั้งโดยเร็วที่สุด อัปเดต: ภายใต้การกำหนดค่าไซต์ | การเข้าถึงของโปรแกรมรวบรวมข้อมูล ทดสอบ robots.txt: การเข้าถึงหน้าแรกแสดง: Googlebot ถูกบล็อกจากhttp://my.example.com/ FYI: robots.txt ที่ Google อ่านครั้งล่าสุดมีลักษณะดังนี้: User-agent: * Allow: /<a page> Allow: /<a folder> Disallow: / ฉันยิงตัวเองด้วยเท้าหรือไม่หรือจะอ่านในที่สุด: http: ///robots.txt (เหมือนครั้งที่แล้วที่อ่านครั้งสุดท้าย) มีความคิดเห็นเกี่ยวกับสิ่งที่ฉันต้องทำอย่างไร

22 google  robots.txt  google-webmaster-tools 

เพื่อที่จะ: เพิ่มความปลอดภัยของเว็บไซต์ของฉัน ลดความต้องการแบนด์วิดท์ ป้องกันการเก็บเกี่ยวที่อยู่อีเมล

14 performance  security  robots.txt 

ฉันกำลังพยายามตั้งค่าrobots.txtสำหรับโฮสต์เสมือนทั้งหมดภายใต้เซิร์ฟเวอร์ nginx http ฉันสามารถทำได้ใน Apache โดยใส่สิ่งต่อไปนี้เป็นหลักhttpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt ฉันพยายามทำสิ่งที่คล้ายกับ nginx โดยเพิ่มบรรทัดที่ระบุด้านล่าง (a) ภายใน nginx.conf และ (b) รวม conf.d / robots.conf location ^~ /robots.txt { alias /var/www/html/robots.txt; } ฉันได้ลองกับ '=' และแม้แต่วางไว้ในโฮสต์เสมือนหนึ่งเพื่อทดสอบ ดูเหมือนจะไม่มีอะไรทำงาน ฉันหายไปนี่อะไร มีวิธีอื่นในการบรรลุเป้าหมายนี้หรือไม่?

13 nginx  robots.txt 

เรามีการติดตั้งเว็บเซิร์ฟเวอร์ XAMPP Apache สำหรับการพัฒนาด้วยโฮสต์เสมือนและต้องการหยุดไม่ให้ serps รวบรวมข้อมูลเว็บไซต์ทั้งหมดของเรา สามารถทำได้อย่างง่ายดายด้วยไฟล์ robots.txt อย่างไรก็ตามเราไม่ควรรวม robots.txt ที่ไม่อนุญาตใน vhost ทุกอันแล้วต้องลบออกเมื่อเราใช้งานเว็บไซต์นี้กับเซิร์ฟเวอร์อื่น มีวิธีใดที่ไฟล์ apache config จะเขียนคำร้องขอทั้งหมดไปยัง robots.txt บน vhosts ทั้งหมดไปยังไฟล์ robots.txt ไฟล์เดียวหรือไม่ ถ้าเป็นเช่นนั้นคุณช่วยยกตัวอย่างให้ฉันได้ไหม ฉันคิดว่ามันจะเป็นอย่างนี้: RewriteEngine On RewriteRule .*robots\.txt$ C:\xampp\vhosts\override-robots.txt [L] ขอบคุณ!

10 apache-2.2  php  robots.txt