เป็นคำถามที่ยอดเยี่ยมและหนึ่งในเว็บมาสเตอร์หลายคนอาจสนใจตั้งแต่แมงมุมไปเดอร์นั้นมีพฤติกรรมก้าวร้าวและสามารถแย่งทรัพยากรจากเซิร์ฟเวอร์ ...
ดังที่ระบุไว้ในข่าวการค้นหาเว็บของไป่ตู้ Baidu spider ไม่สนับสนุนการตั้งค่าการแจ้งเตือนการรวบรวมข้อมูลล่าช้าและคุณต้องลงทะเบียนและยืนยันเว็บไซต์ของคุณด้วยแพลตฟอร์มเครื่องมือเว็บมาสเตอร์ของ Baidu ตามที่ระบุไว้ที่นี่ในเว็บไซต์ นี่เป็นตัวเลือกเดียวในการควบคุมความถี่ในการรวบรวมข้อมูลโดยตรงกับ Baidu
ปัญหาคือบอทสแปมอื่นใช้ตัวแทนผู้ใช้ของ Baidu (อยู่ที่นี่ภายใต้หมายเลข 2) เพื่อไปยังไซต์ของคุณตามที่ระบุไว้ในคำถามที่พบบ่อยของพวกเขาที่นี่ภายใต้ข้อ 4 ดังนั้นการขออัตราการรวบรวมข้อมูลช้าลงด้วย
ดังนั้นหากคุณตัดสินใจใช้เครื่องมือผู้ดูแลเว็บของ Baidu คุณควรเปรียบเทียบตัวแทนผู้ใช้กับ IP ที่ทราบว่าเกี่ยวข้องกับพวกเขาด้วยการใช้ทรัพยากรเช่นฐานข้อมูล Bots vs Browsersหรือใช้การค้นหา DNS ย้อนกลับ
ตัวเลือกอื่น ๆ เท่านั้นที่จะบล็อกตัวแทนผู้ใช้ของ Baidu ทั้งหมดและทำให้ลดทอนการรับส่งข้อมูลที่อาจเกิดขึ้นจาก Baidu หรือพยายาม จำกัด คำขอที่มากเกินไปโดยใช้บางอย่างเช่นmod_qosสำหรับ Apache ซึ่งอ้างว่าจัดการ:
- จำนวนสูงสุดของคำร้องขอพร้อมกันไปยังตำแหน่ง / ทรัพยากร (URL) หรือโฮสต์เสมือน
- ข้อ จำกัด ของแบนด์วิดท์เช่นจำนวนคำขอสูงสุดที่อนุญาตต่อวินาทีไปยัง URL หรือสูงสุด / ต่ำสุดของการดาวน์โหลด kbytes ต่อวินาที
- จำกัด จำนวนกิจกรรมการร้องขอต่อวินาที (เงื่อนไขคำขอพิเศษ)
- นอกจากนี้ยังสามารถ "ตรวจจับ" บุคคลที่สำคัญมาก (VIP) ซึ่งสามารถเข้าถึงเว็บเซิร์ฟเวอร์โดยไม่มีข้อ จำกัด น้อยลง
- บรรทัดคำขอทั่วไปและตัวกรองส่วนหัวเพื่อปฏิเสธการดำเนินการที่ไม่ได้รับอนุญาต ร้องขอการ จำกัด ข้อมูลและการกรองเนื้อหา (ต้องการ mod_parp)
- ข้อ จำกัด เกี่ยวกับระดับการเชื่อมต่อ TCP เช่นจำนวนการเชื่อมต่อที่อนุญาตสูงสุดจากที่อยู่ IP เดียวหรือการควบคุมแบบไดนามิก
- ต้องการที่อยู่ IP ที่รู้จักเมื่อเซิร์ฟเวอร์ไม่มีการเชื่อมต่อ TCP ฟรี
ฉันไม่พบรายงานเกี่ยวกับ Baidu Webmaster Tools ที่โหลดช้าและมีปัญหาการแปล (ไม่มีเวอร์ชันภาษาอังกฤษ) นั่นอาจเป็นประโยชน์ แต่แน่นอนว่าเป็นไปตามความคิดเห็น