ทำไม baidu ของฉันตระเวนเว็บไซต์ของฉันอย่างบ้าคลั่ง

12

เมื่อฉันตรวจสอบบันทึก apache ของฉันฉันจะเห็นว่า baidu รวบรวมข้อมูลเว็บไซต์ของฉันวันละ 10 ครั้งในช่วง 2 สัปดาห์ที่ผ่านมา

ไม่ใช่ว่าฉันสนใจมันมาก แต่ฉันอยากรู้ว่าทำไมเขาถึงทำสิ่งนี้ มันเป็นเว็บไซต์หน้าเล็ก ๆ ที่มีลิงค์เข้ามาไม่มาก

มีเหตุผลอะไรที่อยู่เบื้องหลัง?

220.181.108.169 [10/Mar/2012:10:41:29 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
180.76.5.197 [10/Mar/2012:11:02:02 +0100] "GET / ...robots.txt +(+http://www.baidu.com/search/spider.htm)"
123.125.71.100 [10/Mar/2012:11:33:15 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.167 [10/Mar/2012:11:33:52 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.116 [10/Mar/2012:12:24:48 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.172 [10/Mar/2012:12:25:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.111 [10/Mar/2012:13:33:22 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.167 [10/Mar/2012:13:34:03 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.168 [10/Mar/2012:14:12:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.107 [10/Mar/2012:14:23:41 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.176 [10/Mar/2012:14:23:58 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.94 [10/Mar/2012:15:25:59 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.183 [10/Mar/2012:15:26:21 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.92 [10/Mar/2012:17:45:55 +0100] "GET / ...robots.txt +http://www.baidu.com/search/spider.html)"
123.125.71.71 [10/Mar/2012:17:45:57 +0100] "GET / ...robots.txt +http://www.baidu.com/search/spider.html)"
123.125.71.79 [10/Mar/2012:17:46:04 +0100] "GET / ...robots.txt +http://www.baidu.com/search/spider.html)"
123.125.71.103 [10/Mar/2012:17:47:32 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.179 [10/Mar/2012:17:48:37 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.108 [10/Mar/2012:18:37:21 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.185 [10/Mar/2012:18:38:13 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.96 [10/Mar/2012:19:25:50 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.169 [10/Mar/2012:19:25:59 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.101 [10/Mar/2012:20:25:51 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.176 [10/Mar/2012:20:26:09 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.105 [10/Mar/2012:21:33:38 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.178 [10/Mar/2012:21:34:15 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
180.76.5.170 [10/Mar/2012:21:57:39 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.98 [10/Mar/2012:22:26:13 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.175 [10/Mar/2012:22:26:33 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.104 [10/Mar/2012:23:34:09 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.169 [10/Mar/2012:23:34:48 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.171 [10/Mar/2012:23:52:22 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.168 [10/Mar/2012:23:52:22 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.110 [11/Mar/2012:00:33:52 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.184 [11/Mar/2012:00:34:27 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.103 [11/Mar/2012:02:37:21 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.177 [11/Mar/2012:02:37:58 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.97 [11/Mar/2012:03:34:30 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.172 [11/Mar/2012:03:35:07 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.107 [11/Mar/2012:04:35:33 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.178 [11/Mar/2012:04:36:16 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.115 [11/Mar/2012:05:34:31 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.187 [11/Mar/2012:05:35:12 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.97 [11/Mar/2012:06:24:17 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.181 [11/Mar/2012:06:24:32 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.112 [11/Mar/2012:07:40:27 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.187 [11/Mar/2012:07:41:17 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.95 [11/Mar/2012:08:29:42 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.175 [11/Mar/2012:08:30:07 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.105 [11/Mar/2012:09:35:23 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.184 [11/Mar/2012:09:36:05 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
123.125.71.106 [11/Mar/2012:10:39:32 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.165 [11/Mar/2012:10:40:11 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
220.181.108.171 [11/Mar/2012:11:23:57 +0100] "GET / ... +http://www.baidu.com/search/spider.html)"
seo  web-crawlers  baidu 
— yokoloko
แหล่งที่มา
คุณได้รับปริมาณการใช้สารอินทรีย์จาก Baidu.com หรือไม่ ถ้าไม่ฉันจะบล็อกแมงมุมถ้ามันกินแบนด์วิดธ์ของคุณเช่นนั้น
— Anagio
ไม่แน่ใจว่าคุณหมายถึงอะไรจากปริมาณการใช้ข้อมูลทั่วไป แต่ถ้าคุณหมายถึงผู้ใช้ที่ใช้เครื่องมือค้นหา baidu คำตอบคือไม่ฉันไม่ทำ ไม่ใช้แบนด์วิดท์หรือ ressources มากนัก เป็นเพียงที่ฉันอยากรู้ว่าทำไม baidu กำลังรวบรวมข้อมูลมันมาก
— yokoloko
1
ใช่นั่นคือสิ่งที่ฉันหมายถึง ถ้ามันไม่ได้ใช้แบนด์วิดท์มากฉันจะไม่ต้องกังวลถ้ามันยังดำเนินต่อไป คุณสามารถส่งอีเมลได้เสมอ "หากคุณพบการเข้าถึงที่ไม่สมเหตุสมผลจาก Baiduspider โปรดแจ้งให้เราทราบที่ spiderhelp@baidu.com"
— Anagio
1
ฉันเพียงต้องการป้องกันแมงมุมเครื่องมือค้นหาถ้าคุณไม่ต้องการที่จะได้รับการจราจรค้นหาใด ๆ จากพวกเขาไม่ได้เป็นเพียงเพราะคุณในขณะนี้ไม่ได้รับการใด ๆ - โดยเฉพาะอย่างยิ่งการพิจารณาว่า Baidu เป็นที่ 3 ของเครื่องมือค้นหาที่ใหญ่ที่สุดในโลกในแง่ของตลาด หุ้น
— Lèsemajesté
3
ไป่ตู้เป็นคนก้าวร้าวมากจนกระทั่งเว็บไซต์ของคุณได้รับการจัดทำดัชนีเพียงพอ มีตัวขูดออกที่อ้างว่าเป็น Baidu ฉันใช้botsvsbrowsers.comเพื่อระบุตัวตนและแบนพวกเขาเมื่อสิ่งต่างๆหลุดมือไป ยานเดกซ์สามารถสร้างการรับส่งข้อมูลชนิดเดียวกันได้เช่นกัน
— Fiasco Labs

คำตอบ:

7

ดูเหมือนว่าบางสิ่งบางอย่างที่คุณควรกังวลเกี่ยวกับการที่มากเกินไป google รวบรวมข้อมูลบางส่วนของเว็บไซต์ของฉันในลักษณะที่คล้ายกัน แต่อาจเป็นบอตปลอมดังนั้นโปรดตรวจสอบลิงก์ด้านล่าง ...

Baidu แมงมุมคำถามที่พบบ่อย (Chrome สร้างขึ้นในการแปล) ได้นี้จะพูดว่า: -

4. ทำไม Baiduspider จึงรวบรวมข้อมูลเว็บไซต์ของฉันอย่างต่อเนื่อง เพื่อให้มั่นใจว่ามีการนำเสนอข้อมูลล่าสุด Baiduspider จะรวบรวมข้อมูลหน้าใหม่หรือหน้าเว็บที่มีการต่ออายุบ่อยในไซต์ของคุณ โปรดตรวจสอบบันทึกเพื่อดูว่าการรวบรวมข้อมูลจาก Baiduspider เหมาะสมหรือไม่

เพื่อหลีกเลี่ยงการรวบรวมข้อมูลส่วนเกินโดยผู้ส่งอีเมลขยะหรือผู้สร้างปัญหาอื่น ๆ ที่แกล้งเป็น Baiduspider คุณสามารถตรวจสอบบันทึกได้ เมื่อคุณพบการคลานที่ผิดปกติใด ๆ โปรดแจ้งให้เราทราบที่ spiderhelp@baidu.com และจัดทำบันทึกของ Baiduspider

ไป่ตู้เสนอเครื่องมือเว็บมาสเตอร์เป็นของตัวเอง(จำเป็นต้องใช้ฟังก์ชั่นการแปลของโครเมี่ยมเมื่อเข้าถึงเครื่องมือด้วยตนเอง) บางทีการลงทะเบียนพวกเขาอาจให้คำตอบ Google WMT มีความสามารถ จำกัด ในการจัดการอัตราการรวบรวมข้อมูลบางทีเครื่องมือของพวกเขาอาจมีฟังก์ชั่นที่คล้ายกัน

— toomanyairmiles
แหล่งที่มา
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.