หากฉันไม่ต้องการตั้งค่าลักษณะพิเศษใด ๆ จะเป็นไรไหมถ้าฉันไม่อยากมีไฟล์ robots.txt

หากฉันไม่ต้องการตั้งค่าลักษณะพิเศษใด ๆ จะเป็นไรไหมถ้าฉันไม่อยากมีไฟล์ robots.txt

หรือขาดหนึ่งอาจเป็นอันตรายได้?

การขาดไฟล์ robots.txt จะไม่เป็นอันตราย จากเว็บไซต์ robotstxt.org :

เพื่อให้หุ่นยนต์ทั้งหมดเข้าถึงได้อย่างสมบูรณ์

ตัวแทนผู้ใช้: *
ไม่อนุญาต:

(หรือเพียงแค่สร้างไฟล์ "/robots.txt" ที่ว่างเปล่าหรือไม่ใช้เลย)

อย่างไรก็ตามแม้ว่าคุณจะไม่ได้ระบุอะไรในไฟล์ robots.txt ของคุณก็เป็นวิธีที่ดีในการแจ้งเครื่องมือค้นหาของสถานที่ตั้งของ XML ของคุณแผนผังไซต์ คุณสามารถทำได้โดยเพิ่มบรรทัดที่ด้านบนของไฟล์ robots.txt ที่มีลักษณะดังนี้:

แผนผังไซต์: http://www.example.com/sitemap-host1.xml

คุณควรทราบด้วยว่าการไม่มีมันจะสร้างรายการจำนวน 404 รายการในบันทึกการใช้เว็บของคุณ

หากคุณไม่มี "robots.txt" บันทึกข้อผิดพลาดของคุณจะได้รับไฟล์จำนวน 404 ไฟล์ซึ่งอาจเป็นเรื่องที่น่ารำคาญเหมือนกับว่าคุณไม่มี favicon

ฉันคิดว่ามันจะมีที่จะตกลงเป็นอย่างอื่นเพาะปลูกขนาดใหญ่ของเว็บจะยกเลิกการจัดทำดัชนีโดยแมงมุมเว็บ

ไม่robots.txtเหมือนกับ "อนุญาตให้สร้างดัชนีโดยทุกคน" robots.txtเกือบจะเป็นคำจำกัดความ

การไม่มีไฟล์ robots.txt จะปล่อยให้โปรแกรมรวบรวมข้อมูลตัดสินใจได้ว่าจะทำอะไรได้บ้างและไม่สามารถทำได้ เนื่องจากใช้เวลาเพียงไม่กี่วินาทีในการหลีกเลี่ยงความคลุมเครือใด ๆ ทำไมไม่สร้างเพียงสิ่งเดียวที่ทำให้ตัวแทนทั้งหมดเข้าถึงทุกสิ่งได้

เนื่องจากrobots.txtมีที่อยู่ของแผนผังเว็บไซต์ของคุณการไม่มีที่อยู่อาจเป็นอันตรายได้

ทั้งนี้ขึ้นอยู่กับเนื้อหาของคุณไม่ควรมีปัญหาหากไม่มีไฟล์โรบ็อตตราบใดที่คุณต้องการให้มีทุกหน้าในเว็บไซต์ของคุณจัดทำดัชนีโดยเครื่องมือค้นหา