คำถามติดแท็ก yahoo

เราประสบปัญหาร้ายแรงบางประการกับแมงมุมที่เขียนไม่ดีของ Yahoo ในอดีตและเป็นผลให้เราบล็อกพวกเขา Marco Arment of Tumblr แบ่งปันความผิดหวังของเขากับเราเมื่อวันที่ 8/31/2009 ซึ่งเป็นปัจจัยหนึ่งในการบล็อกพวกเขา [แมงมุมของ Yahoo ได้] ส่งผลให้เรามีคำขอ 70-200 ครั้ง / วินาทีตั้งแต่ประมาณ 5:30 น. EST ฉันไม่เคยเห็นอะไรแบบนี้มาก่อนแม้กระทั่งจากซอฟต์แวร์รวบรวมข้อมูล "ทดลอง" ที่หลอกลวงเราในอดีต Robots.txt แบนไม่เพียงพอ: ฉันต้องบล็อกพวกเขาด้วย IP ที่ระดับตัวโหลดบาลานซ์ เมื่อก่อนพวกเขาเคยใช้ Stack Overflow ในทางที่ผิดฉันคิดว่าคุณอาจต้องการทราบ ดูเหมือนว่าการค้นหาเว็บของ Yahoo คือ "Powered by Bing!" ตอนนี้ นี่เป็นสิ่งที่ดีเพราะเราไม่เคยมีปัญหากับแมงมุมของ Bing (หรือที่รู้จัก MSNBOT) ดังนั้นการค้นหาของ Yahoo เหมือนกับการค้นหา Bing ในตอนนี้หรือเราควรมองหาที่จะยกเลิกการปิดกั้นพวกเขาหากพวกเขาได้รับอย่างใดเทียบกับอัตราต่อรองทั้งหมดหยุดดูดอย่างหนัก?

25 user-agent  bing  yahoo  web-crawlers 

เฟรมเวิร์ก JS / CSS ยอดนิยมมากมายนั้นมีให้ผ่าน Libraries API ของ Google (jQuery, Dojo, MooTools เป็นต้น) Yahoo ยังมีชุดเครื่องมือ YUI เป็นของตัวเอง ไซต์ปริมาณมาก / ปริมาณการเข้าชมนั้นใช้ทรัพยากรจากโฮสต์ภายนอก (โดยไม่ต้องโฮสต์สำเนาของตนเอง) หรือไม่ ดูเหมือนว่าเป็นการบริการที่ยอดเยี่ยมสำหรับการใช้ประโยชน์แม้ว่าในประสบการณ์ของฉันฉันมักจะพบห้องสมุดเหล่านี้ที่บรรจุพร้อมกับโครงการที่ฉันทำงานอยู่ การปฏิบัติที่พบบ่อยที่สุดที่นี่คืออะไร ยิ่งกว่านั้นมันปลอดภัยและเชื่อถือได้ (จากประสบการณ์) ในการใช้สิ่งเหล่านี้จากภายนอกหรือไม่?

10 google  web-hosting  jquery  yahoo