เราประสบปัญหาร้ายแรงบางประการกับแมงมุมที่เขียนไม่ดีของ Yahoo ในอดีตและเป็นผลให้เราบล็อกพวกเขา Marco Arment of Tumblr แบ่งปันความผิดหวังของเขากับเราเมื่อวันที่ 8/31/2009 ซึ่งเป็นปัจจัยหนึ่งในการบล็อกพวกเขา
[แมงมุมของ Yahoo ได้] ส่งผลให้เรามีคำขอ 70-200 ครั้ง / วินาทีตั้งแต่ประมาณ 5:30 น. EST ฉันไม่เคยเห็นอะไรแบบนี้มาก่อนแม้กระทั่งจากซอฟต์แวร์รวบรวมข้อมูล "ทดลอง" ที่หลอกลวงเราในอดีต Robots.txt แบนไม่เพียงพอ: ฉันต้องบล็อกพวกเขาด้วย IP ที่ระดับตัวโหลดบาลานซ์ เมื่อก่อนพวกเขาเคยใช้ Stack Overflow ในทางที่ผิดฉันคิดว่าคุณอาจต้องการทราบ
ดูเหมือนว่าการค้นหาเว็บของ Yahoo คือ "Powered by Bing!" ตอนนี้ นี่เป็นสิ่งที่ดีเพราะเราไม่เคยมีปัญหากับแมงมุมของ Bing (หรือที่รู้จัก MSNBOT)
ดังนั้นการค้นหาของ Yahoo เหมือนกับการค้นหา Bing ในตอนนี้หรือเราควรมองหาที่จะยกเลิกการปิดกั้นพวกเขาหากพวกเขาได้รับอย่างใดเทียบกับอัตราต่อรองทั้งหมดหยุดดูดอย่างหนัก?