กลยุทธ์สำหรับการรับมือกับหุ่นยนต์ที่ทำงานผิดปกติ
ฉันมีเว็บไซต์ที่ด้วยเหตุผลด้านกฎระเบียบอาจไม่ได้รับการจัดทำดัชนีหรือค้นหาโดยอัตโนมัติ ซึ่งหมายความว่าเราต้องป้องกันไม่ให้หุ่นยนต์ทั้งหมดออกไปและป้องกันไม่ให้มีการแพร่กระจายของไซต์ เห็นได้ชัดว่าเรามีไฟล์ robots.txt ซึ่งไม่สามารถทำได้ตั้งแต่เริ่มต้น อย่างไรก็ตามการสังเกตไฟล์ robots.txt เป็นสิ่งที่โรบอตทำงานได้ดีเท่านั้น เมื่อเร็ว ๆ นี้เรามีปัญหาบางอย่างกับหุ่นยนต์ที่ประพฤติตัวไม่ดี ฉันได้กำหนดค่า Apache ให้ห้ามตัวแทนผู้ใช้สองสามคนแต่มันก็ง่ายที่จะเข้าใจ ดังนั้นคำถามคือมีวิธีการกำหนดค่า Apache (อาจติดตั้งโมดูลบางอย่าง?) เพื่อตรวจสอบพฤติกรรมเหมือนหุ่นยนต์และตอบสนอง? ความคิดอื่น ๆ ? ในขณะนี้สิ่งที่ฉันทำได้คือห้ามที่อยู่ IP ตามการตรวจสอบบันทึกด้วยตนเองและนั่นไม่ใช่กลยุทธ์ระยะยาวที่ใช้งานได้จริง