ทำไม baidu ของฉันตระเวนเว็บไซต์ของฉันอย่างบ้าคลั่ง
เมื่อฉันตรวจสอบบันทึก apache ของฉันฉันจะเห็นว่า baidu รวบรวมข้อมูลเว็บไซต์ของฉันวันละ 10 ครั้งในช่วง 2 สัปดาห์ที่ผ่านมา ไม่ใช่ว่าฉันสนใจมันมาก แต่ฉันอยากรู้ว่าทำไมเขาถึงทำสิ่งนี้ มันเป็นเว็บไซต์หน้าเล็ก ๆ ที่มีลิงค์เข้ามาไม่มาก มีเหตุผลอะไรที่อยู่เบื้องหลัง? 220.181.108.169 [10/Mar/2012:10:41:29 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 180.76.5.197 [10/Mar/2012:11:02:02 +0100] "GET / ...robots.txt +(+http://www.baidu.com/search/spider.htm)" 123.125.71.100 [10/Mar/2012:11:33:15 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 220.181.108.167 [10/Mar/2012:11:33:52 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" 123.125.71.116 [10/Mar/2012:12:24:48 +0100] "GET / ... +http://www.baidu.com/search/spider.html)" …