เท่าที่ฉันรู้ไม่มีบอทหรือแอปร้องขอsitemap.xmlโดยไม่ได้รับการบอกว่าควรอยู่ที่นั่น ไซต์ส่วนใหญ่อาจไม่มีและไซต์ที่มีประโยชน์ใช้ gzip จำนวนมากและหลายไซต์เรียกไฟล์อย่างอื่นหรือวางแผนผังไซต์ไว้ในโฟลเดอร์ย่อย
นี่คือทุกสิ่งที่ฉันรู้:
- favicon.ico
ให้ไอคอนในหน้าแท็บบุ๊กมาร์ก ฯลฯ
- robots.txt
มีประโยชน์หากคุณต้องการปิดกั้นหน้าใด ๆ จากเครื่องมือค้นหา แต่สามารถเว้นว่างไว้เพื่ออนุญาตการเข้าถึงทุกสิ่ง นอกจากนี้ยังสามารถมีตำแหน่งสำหรับแผนผังเว็บไซต์ของคุณ
- ไฟล์การยืนยันเครื่องมือของผู้ดูแลเว็บ
วิธีการตรวจสอบที่ง่ายที่สุด (บันทึกโดยใช้เมตาแท็กที่ไม่มีประโยชน์ในรหัส HTML ของคุณ) มีและgoogle[hash].html
BingSiteAuth.xml
ฉันมีหนึ่งสำหรับ Yahoo ในรากของฉันด้วย แต่นั่นอาจไม่จำเป็นอีกต่อไป
- crossdomain.xml
Adobe Flash ร้องขอไฟล์นี้เมื่อใดก็ตามที่ Flash จำเป็นต้องเชื่อมต่อกับเว็บไซต์ของคุณ คุณอาจจะไม่เคยเห็นไฟล์นี้ในบันทึกของคุณบนไซต์เล็ก ๆ แต่ฉันมีคำขอจำนวนมากในไซต์เดียว คุณสามารถสร้างไฟล์เปล่าได้เนื่องจากค่าเริ่มต้นคือการปิดกั้นการเข้าถึงเว็บไซต์ภายนอก
- .htaccess (Apache)
ไม่ได้รับการร้องขออย่างชัดเจนจากเบราว์เซอร์ / บอท แต่มีความสำคัญสำหรับไซต์ส่วนใหญ่
ในที่สุดเกี่ยวกับไอคอนที่ iPhone ยืนยันในการขอ: มีหลายขนาดที่อาจได้รับการร้องขอ iPhone 3G ของฉัน (iOS 5) ร้องขอรุ่น 57x57 และฉันเห็น 72x72 และ 114x114 (พบมากที่สุด) ในบันทึกข้อผิดพลาดของฉัน ดังนั้นหากคุณต้องการกำจัด 404 ทั้งหมดออกจากบันทึกของคุณคุณจะต้องให้สิ่งเหล่านี้ทั้งหมด:
/apple-touch-icon-57x57-precomposed.png
/apple-touch-icon-57x57.png
/apple-touch-icon-72x72-precomposed.png
/apple-touch-icon-72x72.png
/apple-touch-icon-114x114-precomposed.png
/apple-touch-icon-114x114.png
/apple-touch-icon-precomposed.png
/apple-touch-icon.png