เพื่อที่จะ:
- เพิ่มความปลอดภัยของเว็บไซต์ของฉัน
- ลดความต้องการแบนด์วิดท์
- ป้องกันการเก็บเกี่ยวที่อยู่อีเมล
เพื่อที่จะ:
คำตอบ:
บอทที่ไม่มีการเก็บเกี่ยวอีเมลหรือทดสอบไซต์ของคุณเพื่อหาช่องโหว่จะไม่เคารพ robots.txt ของคุณ ในความเป็นจริงบอทที่เป็นอันตรายเหล่านี้ดู robots.txt เพื่อทำแผนที่ไซต์ของคุณให้ดีขึ้น หากจุดใดที่คุณมีสิ่งDisallow:นี้จะถูกใช้เพื่อโจมตีเว็บไซต์ของคุณได้ดียิ่งขึ้น แฮกเกอร์ที่ดูเว็บไซต์ของคุณด้วยตนเองควรใช้เวลาตรวจสอบไฟล์ / ไดเรกทอรีใด ๆ ที่คุณพยายามไม่อนุญาต
robots.txt จะไม่เพิ่มความปลอดภัยให้กับเว็บไซต์ของคุณหรือป้องกันการเก็บอีเมล robots.txt เป็นคู่มือสำหรับเครื่องมือค้นหาเพื่อข้ามส่วนต่างๆของเว็บไซต์ของคุณ สิ่งเหล่านี้จะไม่ถูกจัดทำดัชนีและควรใช้สำหรับส่วนใด ๆ ที่คุณไม่ต้องการให้แสดงในเครื่องมือค้นหาสาธารณะ
อย่างไรก็ตามวิธีนี้จะป้องกันไม่ให้บ็อตอื่น ๆ ดาวน์โหลดทั้งไซต์ของคุณเพื่อเพิ่มความปลอดภัยหรือป้องกันการเก็บเกี่ยวอีเมล เพื่อเพิ่มความปลอดภัยคุณต้องเพิ่มการรับรองความถูกต้องและอนุญาตเฉพาะผู้ใช้ที่ผ่านการรับรองความถูกต้องนอกเหนือจากส่วนที่ปลอดภัย เพื่อป้องกันการเก็บอีเมลแอดเดรสอย่าใส่อีเมลเป็นข้อความธรรมดา (หรือข้อความที่ถอดรหัสได้ง่าย) บนเว็บไซต์
robots.txt จะไม่ช่วยคุณในเรื่องความปลอดภัย บอทที่ต้องการทำสิ่งที่ร่มรื่นจะไม่สนใจมัน
ไฟล์ robots.txt ทำหน้าที่เป็นคำขอที่บอทและสไปเดอร์ออกจากเนื้อหาบางส่วนเท่านั้น มันไม่สามารถป้องกันการเข้าถึงของพวกเขาได้ บ็อต "ดี" จะเคารพ แต่บอทที่ "ไม่ดี" (น่าจะเป็นบล็อกที่คุณต้องการบล็อก) จะไม่สนใจมันและดำเนินการตามขั้นตอนต่อไป
แทนที่จะเป็น robots.txt คุณอาจต้องใช้รหัส CAPTCHA