บล็อกแบนด์วิดท์ HTTP ที่มากเกินไปใช้แบบไดนามิกหรือไม่

เรารู้สึกประหลาดใจเล็กน้อยที่เห็นสิ่งนี้ในกราฟCactiของเราสำหรับการเข้าชมเว็บ 4 มิถุนายน:

เราใช้Log Parserในบันทึก IIS ของเราและปรากฎว่านี่เป็นพายุที่สมบูรณ์แบบของ Yahoo และ Google บอทที่จัดทำดัชนีเรา .. ในช่วงเวลา 3 ชั่วโมงนั้นเราเห็น 287 พันครั้งจาก IP ของ Google ที่แตกต่างกัน 3 ครั้งและ 104k จาก Yahoo อุ๊ย?

แม้ว่าเราไม่ต้องการบล็อก Google หรือ Yahoo แต่สิ่งนี้เกิดขึ้นมาก่อน เราสามารถเข้าถึงCisco PIX 515Eและเรากำลังคิดที่จะนำสิ่งนั้นไว้ด้านหน้าเพื่อให้เราสามารถจัดการกับผู้กระทำผิดแบนด์วิดท์โดยไม่ต้องสัมผัสกับเว็บเซิร์ฟเวอร์ของเราโดยตรง

แต่นั่นเป็นทางออกที่ดีที่สุด? ฉันสงสัยว่ามีซอฟต์แวร์หรือฮาร์ดแวร์ใดบ้างที่สามารถช่วยเราระบุและบล็อกการใช้แบนด์วิดท์ที่มากเกินไปในเวลาจริง บางทีฮาร์ดแวร์หรือซอฟต์แวร์โอเพนซอร์ซบางตัวที่เรานำหน้าเว็บเซิร์ฟเวอร์ของเรา

เราส่วนใหญ่เป็นร้านค้าของ Windows แต่เรามีทักษะ Linux เช่น เรายังเปิดให้ซื้อฮาร์ดแวร์ถ้า PIX 515E ไม่เพียงพอ คุณจะแนะนำอะไร

หาก PIX ของคุณใช้เวอร์ชัน 7.2 หรือสูงกว่าของระบบปฏิบัติการหรือสามารถอัพเกรดเป็นระบบได้คุณสามารถใช้นโยบาย QOS ที่ระดับไฟร์วอลล์ โดยเฉพาะอย่างยิ่งสิ่งนี้จะช่วยให้คุณกำหนดปริมาณการใช้ข้อมูลและควรอนุญาตให้คุณ จำกัด แบนด์วิดท์ที่บอทใช้ ซิสโก้มี gudie ที่ดีในการนี้ที่นี่

ฉันไม่แน่ใจเกี่ยวกับ yahoo แต่คุณสามารถกำหนดความถี่บอทของ Google จัดทำดัชนีเว็บไซต์ของคุณ มีลักษณะที่Google เว็บมาสเตอร์ ฉันไม่แน่ใจว่า Yahoo มีอะไรที่คล้ายกัน เมื่อใดก็ตามที่จะลดอัตราการเข้าชมของคุณมากถึง 50%

อีกวิธีหนึ่งคือบางเว็บเซิร์ฟเวอร์สามารถ จำกัด ทราฟฟิกต่อการเชื่อมต่อเพื่อให้คุณลอง ฉันเองจะอยู่ห่างจากโซลูชันฮาร์ดแวร์เนื่องจากส่วนใหญ่มีแนวโน้มที่จะเสียค่าใช้จ่ายมากขึ้น

เพื่อลดภาระการรวบรวมข้อมูล - ใช้งานได้กับ Microsoft และ Yahoo เท่านั้น สำหรับ Google คุณจะต้องระบุความเร็วในการรวบรวมข้อมูลช้าลงผ่านทางเครื่องมือของผู้ดูแลเว็บ ( http://www.google.com/webmasters/ )

ระวังให้มากเมื่อใช้สิ่งนี้เพราะถ้าคุณชะลอการรวบรวมข้อมูลมากเกินไปหุ่นยนต์จะไม่สามารถไปยังไซต์ทั้งหมดของคุณได้และคุณอาจสูญเสียหน้าเว็บจากดัชนี

นี่คือตัวอย่างบางส่วน (สิ่งเหล่านี้จะอยู่ในrobots.txtไฟล์ของคุณ):

# Yahoo's Slurp Robot - Please wait 7 seconds in between visits

User-agent: slurp
Crawl-delay: 7

# MSN Robot - Please wait 5 seconds in between visits

User-agent: msnbot
Crawl-delay: 5

ปิดหัวข้อเล็กน้อย แต่คุณยังสามารถระบุไฟล์ Sitemap หรือดัชนี Sitemap ได้

หากคุณต้องการให้เครื่องมือค้นหามีรายการ URL ที่ดีที่สุดของคุณอย่างครอบคลุมคุณยังสามารถระบุคำสั่งการค้นหาอัตโนมัติของ Sitemap หนึ่งรายการขึ้นไป โปรดทราบว่าตัวแทนผู้ใช้ไม่ได้ใช้กับคำสั่งนี้ดังนั้นคุณไม่สามารถใช้สิ่งนี้เพื่อระบุแผนผังเว็บไซต์ให้กับเครื่องมือค้นหาบางส่วน แต่ไม่ใช่ทั้งหมด

# Please read my sitemap and index everything!

Sitemap: http://yourdomain.com/sitemap.axd

เราใช้ไฟร์วอลล์ Watchguard (เราคือ X1000 ซึ่งเป็นจุดจบของชีวิตตอนนี้) มี feautres หมุนวนรอบ ๆ การบล็อกโดเมนหรือ ips ที่เห็นเวลาและเวลาอีกครั้งหรือกำลังใช้แบนด์วิดธ์ obsesive จำนวน

ต้องมีการปรับแต่งเพราะคุณไม่ต้องการบล็อก Jon Skeet ใน stackoverflow :)

ฉันขอแนะนำ Microsoft ISA Server 2006 โดยเฉพาะสำหรับความต้องการนี้จะ จำกัด 600 การร้องขอ HTTP / นาทีต่อ IP โดยค่าเริ่มต้นและคุณสามารถใช้ข้อยกเว้นสำหรับ Jon Skeet (ขออภัยฉันรู้ว่า "ตลก" ได้ทำไปแล้ว! )

คุณมีสิทธิประโยชน์เพิ่มเติมของการกรองระดับแอปพลิเคชันความสามารถในการโหลดบาลานซ์ในเว็บเซิร์ฟเวอร์หลายแห่ง (แทนที่จะเป็น NLB บนเซิร์ฟเวอร์เหล่านั้น) การเลิกใช้ VPN ฯลฯ มีส่วนขยายเชิงพาณิชย์จำนวนมากที่มีอยู่และคุณสามารถเขียนตัวกรอง ISAPI ของคุณเองได้ คุณรู้สึกกล้าหาญ

เห็นได้ชัดว่าไม่ใช่โอเพ่นซอร์ส แต่มีประโยชน์กับร้านค้า Windows และใช้งานฮาร์ดแวร์สินค้าโภคภัณฑ์

เราใช้เครื่องถ่วงโหลดของ Foundry (โดยเฉพาะ SI850s) เพื่อจัดการกับปัญหาเรื่องรูปร่างนี้มันยังจัดการ 'nastys' อื่น ๆ อีกมากมายเช่น SYN-floods ฯลฯ อาจเป็นเรื่องที่ค่อนข้างเกินสำหรับคุณ

Bluecoat (ก่อนหน้านี้ Packeteer) ผลิตภัณฑ์ PacketShaper สามารถเค้นการใช้งานมากเกินไปในการรับส่งข้อมูลที่จัดการได้

คุณยังสามารถทำการ จำกัด อัตราพื้นฐานด้วยเราเตอร์ Cisco ปกติที่มีความจุ / วินเทจที่เหมาะสม คุณใช้เราเตอร์ Cisco หรือไม่