บนเว็บเซิร์ฟเวอร์ตอนนี้ฉันต้องยอมรับฉันสังเกตเห็นว่า robots.txt ว่างเปล่า ฉันสงสัยว่ามีความแตกต่างระหว่าง robots.txt ที่ว่างเปล่าและไม่มีไฟล์เลยหรือไม่
ซอฟต์แวร์รวบรวมข้อมูลมีพฤติกรรมแตกต่างกันในสองกรณีนี้หรือไม่ ดังนั้นปลอดภัยหรือไม่ที่จะลบ robots.txt ที่ว่างเปล่า
คำตอบ:
ซอฟต์แวร์รวบรวมข้อมูลมีพฤติกรรมแตกต่างกันในสองกรณีนี้หรือไม่
robots.txtไฟล์ที่ว่างเปล่าเป็นจริงไม่แตกต่างจากคนที่ไม่ได้พบทั้งการรวบรวมข้อมูลทำไม่ได้ไม่อนุญาต
แต่คุณอาจได้รับจำนวนมากของ404ข้อผิดพลาดในการบันทึกเซิร์ฟเวอร์ของคุณเมื่อโปรแกรมรวบรวมข้อมูลขอrobots.txtไฟล์ตามที่ระบุไว้ในคำถามนี้ที่นี่
ดังนั้นปลอดภัยหรือไม่ที่จะลบ robots.txt ที่ว่างเปล่า
ใช่ด้วยข้อแม้ข้างต้น
ไม่ไม่มีความแตกต่าง
คุณจะได้รับข้อผิดพลาด 404 ในบันทึกเซิร์ฟเวอร์ของคุณและหากคุณสมัครรับข้อมูลต่างๆเช่นเครื่องมือ Google Web Master มันอาจบอกคุณว่าคุณไม่ได้รับ แต่ในแง่ของพฤติกรรมหุ่นยนต์ซอฟต์แวร์รวบรวมข้อมูล - มันเหมือนกันสำหรับ หุ่นยนต์ที่คุณใส่ใจ