ฉันไม่ชอบที่ฉันเห็นข้อผิดพลาด 404 มากมายในaccess.logของเว็บเซิร์ฟเวอร์ของฉัน ฉันได้รับข้อผิดพลาดเหล่านี้เนื่องจากซอฟต์แวร์รวบรวมข้อมูลพยายามเปิดไฟล์robots.txtแต่หาไม่พบ ดังนั้นฉันต้องการวางไฟล์robots.txtแบบง่ายที่จะป้องกันข้อผิดพลาด 404 ไม่ให้ปรากฏในไฟล์บันทึกของฉัน
ไฟล์robots.txtขั้นต่ำที่ถูกต้องคืออะไรซึ่งจะทำให้ทุกอย่างในไซต์มีการรวบรวมข้อมูล
คำตอบ:
ตามที่ระบุไว้ที่นี่สร้างไฟล์ข้อความชื่อrobots.txtในไดเรกทอรีระดับบนสุดของเว็บเซิร์ฟเวอร์ของคุณ คุณสามารถปล่อยว่างไว้หรือเพิ่ม:
User-agent: *
Disallow:
หากคุณต้องการหุ่นยนต์ในการรวบรวมข้อมูลทุกอย่าง ถ้าไม่เช่นนั้นดูลิงค์ด้านบนสำหรับตัวอย่างเพิ่มเติม
ไฟล์ที่ดีที่สุดrobots.txtคือไฟล์เปล่า ๆ
คำสั่ง "null" อื่น ๆ เช่นว่างเปล่าDisallowหรือAllow: *ไม่เพียงไร้ประโยชน์เพราะมันเป็นแบบไม่มี ops แต่เพิ่มความซับซ้อนที่ไม่จำเป็น
หากคุณไม่ต้องการไฟล์ที่จะว่างเปล่า - หรือคุณต้องการที่จะทำให้มันมากขึ้นมนุษย์สามารถอ่าน - เพียงแค่เพิ่มความคิดเห็นที่เริ่มต้นด้วยตัวอักษรเช่น# โปรแกรมรวบรวมข้อมูลไม่สนใจสายที่เริ่มต้นด้วย# blank file allows all#
ฉันจะพูดแบบนี้
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
จะอนุญาตให้ Google รวบรวมข้อมูลทุกอย่าง แต่จะไม่อนุญาตให้ Google รวบรวมข้อมูลแผง aadminn ของคุณ ซึ่งเป็นสถานการณ์ที่เหมาะสำหรับคุณ