ใช้ IPtables หรือเส้นทางที่ไม่มีค่าใช้จ่ายในการขึ้นบัญชีดำประมาณ 1 ล้านที่อยู่ IP ใช่ไหม

ฉันเจอสถานการณ์ที่ลูกค้าต้องการขึ้นบัญชีดำชุดของที่อยู่ IP ต่ำกว่า 1 ล้านรายการ (ไม่มีซับเน็ต) และประสิทธิภาพของเครือข่ายเป็นเรื่องที่น่ากังวล ในขณะที่ฉันคาดเดาว่ากฎ IPTables จะส่งผลกระทบต่อประสิทธิภาพน้อยกว่าเส้นทาง แต่นั่นเป็นเพียงการคาดเดา

ใครบ้างมีหลักฐานที่มั่นคงหรือเหตุผลอื่น ๆ เพื่อสนับสนุน IPTables หรือการกำหนดเส้นทางโมฆะเป็นวิธีการแก้ปัญหาในการขึ้นบัญชีดำรายการที่อยู่ยาว ในกรณีนี้ทุกอย่างเป็นไปโดยอัตโนมัติดังนั้นการใช้งานง่ายจึงไม่เป็นปัญหา

แก้ไข 26-Nov-11

หลังจากการทดสอบและการพัฒนาปรากฏว่าไม่มีตัวเลือกใดที่สามารถใช้งานได้ ดูเหมือนว่าทั้งการค้นหาเส้นทางและ iptables ทำการค้นหาเชิงเส้นผ่านชุดกฎและใช้เวลานานเกินไปในการประมวลผลกฎจำนวนมากนี้ บนฮาร์ดแวร์ที่ทันสมัยการวางรายการ 1M ในบัญชีดำ iptables ทำให้เซิร์ฟเวอร์ช้าลงประมาณ 2 โหลแพ็กเก็ตต่อวินาที ดังนั้นเส้นทาง IPTables และ null จึงหมดไป

ipsetตามคำแนะนำของ Jimmy Hedman จะดีมากยกเว้นว่าจะไม่อนุญาตให้คุณติดตามที่อยู่มากกว่า 65536 รายการในชุดดังนั้นฉันจึงไม่สามารถลองใช้งานได้หากไม่มีใครมีความคิดใด ๆ

เห็นได้ชัดว่าทางออกเดียวสำหรับการบล็อก IP จำนวนมากนี้กำลังทำการค้นหาที่มีการจัดทำดัชนีในชั้นแอปพลิเคชัน นั่นไม่ใช่เหรอ?

ข้อมูลมากกว่านี้:

กรณีการใช้งานในอินสแตนซ์นี้กำลังบล็อกรายการ "ที่รู้จักผู้กระทำผิด" ของที่อยู่ IP ไม่ให้เข้าถึงเนื้อหาแบบคงที่บนเว็บเซิร์ฟเวอร์ FWIW การทำการบล็อกผ่าน Apache Deny fromนั้นช้าพอ ๆ กัน (ถ้าไม่มาก) เช่นเดียวกันกับการสแกนเชิงเส้น

FYI: วิธีแก้ปัญหาการทำงานขั้นสุดท้ายคือการใช้ mod_rewrite ของ apache ร่วมกับแผนที่ berkeley DB เพื่อทำการค้นหากับบัญชีดำ ลักษณะที่เป็นดัชนีของ berkeley DBs อนุญาตให้รายการขยายขนาดด้วยประสิทธิภาพ O (บันทึก N)

ลองใช้ iptables และสร้างแผนผังหลายระดับเพื่อลดจำนวนการค้นหา

iptables -N rules_0_0_0_0_2
iptables -N rules_64_0_0_0_2
iptables -N rules_128_0_0_0_2
iptables -N rules_192_0_0_0_2
iptables -N rules_0_0_0_0_4
iptables -N rules_16_0_0_0_4

iptables -A INPUT -p tcp --dport 80 -s 0.0.0.0/2 -j rules_0_0_0_0_2
iptables -A INPUT -p tcp --dport 80 -s 64.0.0.0/2 -j rules_64_0_0_0_2
iptables -A INPUT -p tcp --dport 80 -s 128.0.0.0/4 -j rules_128_0_0_0_2
iptables -A INPUT -p tcp --dport 80 -s 192.0.0.0/4 -j rules_192_0_0_0_2

iptables -A rules_0_0_0_0_2 -s 0.0.0.0/4 -j rules_0_0_0_0_4
iptables -A rules_0_0_0_0_2 -s 16.0.0.0/4 -j rules_16_0_0_0_4

และอื่น ๆ - เพิ่มระดับการซ้อน เห็นได้ชัดว่าคุณต้องการวิธีสร้างกฎโดยอัตโนมัติและคุณควรมีเครือข่ายสำหรับเครือข่ายที่คุณมีผู้กระทำความผิดหนึ่งคนหรือมากกว่า - ด้วยวิธีนี้คุณสามารถลดจำนวนการค้นหาที่ต้องทำค่อนข้างมากและฉันคิดว่ามันอาจ ใช้งานได้จริง

นี่คือสิ่งที่ipsetมีไว้สำหรับ

จากเว็บไซต์ของhttp://ipset.netfilter.org/ :

ถ้าคุณต้องการ

• จัดเก็บที่อยู่ IP หลายแห่งหรือหมายเลขพอร์ตและจับคู่กับการรวบรวมโดย iptables ในคราวเดียว
• อัปเดตกฎ iptables แบบไดนามิกกับที่อยู่ IP หรือพอร์ตโดยไม่มีการลงโทษประสิทธิภาพ
• แสดงที่อยู่ IP ที่ซับซ้อนและชุดกฎที่อิงกับพอร์ตด้วยกฎ iptables เดียวและได้รับประโยชน์จากความเร็วของชุด IP

ipset อาจเป็นเครื่องมือที่เหมาะสมสำหรับคุณ

มันถูกเขียนโดยสมาชิกในทีมหลักของเน็ตฟิลเตอร์ Jozsef Kadlecsik (ผู้ที่เขียนเป้าหมาย REJECT) ดังนั้นนี่จึงเป็นตัวเลือกที่ดีที่สุดที่ฉันสามารถนึกได้

มันรวมอยู่ในเมล็ดข้าวด้วย

ฉันยังไม่ได้ทดสอบตัวเอง แต่เมื่อฉันได้ยินคำอธิบายปัญหาของคุณฉันคิดทันที " pf" (จาก OpenBSD)

pfมีแนวคิดของตารางที่อยู่ซึ่งอาจเป็นสิ่งที่คุณกำลังมองหา

ตามที่บางมากipsetวิจัยคร่าวๆที่ผมทำก็จะดูเหมือนว่าเรื่องนี้มีศักยภาพที่จะขนาดดีกว่า ตามบทของคำถามที่พบบ่อยเกี่ยวกับตัวเลือกรันไทม์ของ PF โดยไม่ต้องปรับจูน pf สนับสนุนทั้งหมด 1,000 ตารางโดยมีทั้งหมด 200,000 รายการในทุกตารางโดยค่าเริ่มต้น (100,000 ถ้าระบบมีหน่วยความจำกายภาพ <100MB) สิ่งนี้ทำให้ฉันเชื่อว่าอย่างน้อยก็คุ้มค่าที่จะลองทดสอบเพื่อดูว่ามันใช้งานได้ในระดับที่มีประโยชน์หรือไม่

แน่นอนฉันสมมติว่าคุณกำลังใช้เซิร์ฟเวอร์ของคุณบน Linux ดังนั้นคุณต้องมีกล่องไฟร์วอลล์แยกต่างหากที่ใช้ระบบปฏิบัติการบางตัวที่มี pf (เช่น OpenBSD หรือ FreeBSD) คุณยังสามารถปรับปรุงทรูพุตได้ด้วยการกรองแพ็คเก็ตที่มีประสิทธิภาพ

คุณตรวจสอบโดยใช้ FIB_TRIE แทน FIB_HASH

FIB_TRIE น่าจะมีขนาดที่ดีขึ้นสำหรับจำนวนคำนำหน้าของคุณ (เส้นทางที่เป็นโมฆะ / 32s ยังคงเป็นคำนำหน้าเฉพาะที่เฉพาะเจาะจงมาก)

คุณอาจต้องคอมไพล์เคอร์เนลของคุณเองเพื่อใช้งาน แต่มันก็ช่วยได้

FIB_TRIE หมายเหตุ

สำหรับลูกหลาน: ตามipsetเอกสารขนาดเริ่มต้นของชุดคือ 65536 สิ่งนี้สามารถเปลี่ยนแปลงได้โดยตัวเลือก

maxelem พารามิเตอร์นี้ใช้ได้สำหรับคำสั่งสร้างของชุดแฮชทั้งหมด มันจะกำหนดจำนวนสูงสุดขององค์ประกอบที่สามารถเก็บไว้ในชุดเริ่มต้น 65536 ตัวอย่าง:ipset create test hash:ip maxelem 2048.

ฉันใส่ที่นี่เพราะฉันยังไม่สามารถแสดงความคิดเห็น

หมายเหตุที่เป็นประโยชน์สำหรับทุกคนที่สะดุดปัญหานี้ในอนาคต:

ก่อนอื่นอย่าวิเคราะห์ปริมาณข้อมูลที่คุณไม่ต้องการ หากคุณบล็อกการรับส่งข้อมูล TCP ตัวอย่างเช่นกรองแพ็กเก็ต SYN เท่านั้นซึ่งเป็นวิธีที่คุณกดตัวกรองเพียงครั้งเดียวต่อการเชื่อมต่อ คุณสามารถใช้-m stateหากคุณต้องการ แต่การติดตามการเชื่อมต่อมีโอเวอร์เฮดของตัวเองซึ่งคุณอาจต้องการหลีกเลี่ยงหากประสิทธิภาพการทำงานเป็นปัญหา

ประการที่สองการใส่กฎหลายล้านกฎลงใน iptables ใช้เวลานาน: หลายนาที หากคุณจำเป็นต้องติดตามเอนทิตีหลาย ๆ แห่งคุณควรหลีกเลี่ยง Netfliter ขนาดที่แท้จริงของ ruleset สร้างความแตกต่าง

ประการที่สามเป้าหมายคือเพื่อหลีกเลี่ยงการสแกนเชิงเส้น แต่น่าเสียดายที่ทั้ง iptables และ iproute2 นั้นเป็นเส้นตรง คุณสามารถแบ่งกฎของคุณออกเป็น binary-tree-style เป็น chain จำนวนมากซึ่ง จำกัด จำนวนกฎที่คุณต้องปรึกษา แต่ถึงกระนั้น iptables ก็ไม่เหมาะสำหรับปัญหานี้ มันจะใช้งานได้ แต่เป็นการสูญเสียทรัพยากรที่มีค่า

ข้อที่สี่และที่สำคัญที่สุดคือการผลักภาระงานของคุณไปยังพื้นที่ผู้ใช้ไม่ใช่ความคิดที่ไม่ดี สิ่งนี้ช่วยให้คุณสามารถเขียนรหัสที่รัดกุมของคุณเองหรือใช้วิธีแก้ปัญหาแบบ off-the-shelf ที่ปรับไปยังชุดปัญหาของคุณ ทางออกของฉันเองสำหรับปัญหานี้ดังที่กล่าวมาคือการใช้การค้นหา BDB ที่ถูกเรียกผ่านระบบ mod_rewrite ของ apache สิ่งนี้มีประโยชน์เพิ่มเติมในการทริกเกอร์การค้นหาหนึ่งครั้งต่อเซสชันเท่านั้นและหลังจากที่ส่งคำขอที่ถูกต้องเท่านั้น ในกรณีนี้ประสิทธิภาพการทำงานเร็วมากและค่าใช้จ่ายของบล็อกลิสต์นั้นเล็กน้อยมาก

คุณสามารถทำเช่นการจัดการ userspace คล้ายกับ iptables โดยใช้เป้าหมายร่วมกับ-j QUEUE libnetfilter_queueเครื่องมือนี้มีประสิทธิภาพเรียบง่ายและมีเอกสารไม่ดี ฉันขอแนะนำให้อ่านมากที่สุดเท่าที่เป็นไปได้จากแหล่งที่มากที่สุดเท่าที่จะหาได้เนื่องจากมีเนื้อหาที่น่าสนใจมากมายกระจายอยู่ทั่วเว็บซึ่งไม่ได้เป็นส่วนหนึ่งของเอกสารทางการใด ๆ