จำลองการเชื่อมต่อช้าระหว่างเครื่องเซิร์ฟเวอร์อูบุนตูสองเครื่อง


9

ฉันต้องการจำลองสถานการณ์ต่อไปนี้: เนื่องจากฉันมีเครื่องเซิร์ฟเวอร์อูบุนตู 4 เครื่อง A, B, C และ D ฉันต้องการลดแบนด์วิดท์เครือข่ายลง 20% ระหว่างเครื่อง A และเครื่อง C และ 10% ระหว่าง A และ B วิธีการ ทำสิ่งนี้โดยใช้เครื่องมือการจำลองเครือข่าย / การควบคุมปริมาณ


iptables อาจมีความสามารถในการควบคุมปริมาณ ฉันไม่เคยใช้มัน แต่ก็คุ้มค่าที่จะดู
Michael Martinez

@MichaelMartinez ไม่มันไม่ได้เป็น tcทำอย่างไรเมื่อใช้กับการทำเครื่องหมาย iptables
Xavier Lucas

@XavierLucas ดีใจที่รู้!
Michael Martinez

คำตอบ:


15

ในการทำเช่นนี้คุณสามารถใช้งานtcอย่างโดดเดี่ยวด้วยu32ตัวกรองหรือรวมกับการทำเครื่องหมาย iptables (อาจจะตรงไปตรงมามากขึ้นหากคุณไม่ต้องการเรียนรู้ไวยากรณ์ตัวกรองที่ซับซ้อน) ฉันจะลงรายละเอียดโพสต์ต่อไปนี้วิธีการแก้ปัญหาในอดีต


จำลองการตั้งค่าของคุณ

ตัวอย่างเช่นลองพิจารณา A, B, C และ D ที่รันอิน เทอร์เฟซเสมือน10 Mbit / s

คุณต้องการ:

  • A <==> B: 9 Mbit / sการสร้างเพื่อออกไปข้างนอก
  • A <==> C: 8 Mbit / sการสร้างเพื่อออกไปข้างนอก

เพื่อจำลองสิ่งนี้ฉันจะสร้างเนมสเปซเครือข่าย 4 อันและอินเทอร์เฟซอีเธอร์เน็ตเสมือนที่เสียบเข้ากับบริดจ์

แน่นอนในกรณีของคุณคุณจะทำงานกับ NIC จริงและสะพานจะเป็นเกตเวย์หรือสวิตช์ของคุณขึ้นอยู่กับโครงสร้างพื้นฐานของคุณ

ดังนั้นในการจำลองของฉันเราจะมีการตั้งค่าต่อไปนี้ในเครือข่าย 10.0.0.0/24:

                                  10.0.0.254            

                                  +-------+                     
                                  |       |                     
                                  |  br0  |                     
                                  |       |                   
                                  +---+---+                     
                                      |                         
                                      | veth{A..D}.peer        
                                      |                      
                  +------------+------+-----+------------+     
                  |            |            |            |      
            vethA |      vethB |      vethC |      vethD |      
              +---+---+    +---+---+    +---+---+    +---+---+  
              |       |    |       |    |       |    |       |   
              |   A   |    |   B   |    |   C   |    |   D   |   
              |       |    |       |    |       |    |       |  
              +-------+    +-------+    +-------+    +-------+    

              10.0.0.1      10.0.0.2     10.0.0.3     10.0.0.4           

ครั้งแรกการตั้งค่า phasis เพื่อให้คุณสามารถเข้าใจสิ่งที่สร้างขึ้นข้ามไปหากคุณไม่คุ้นเคยกับมันไม่มีเรื่องใหญ่อะไร อย่างไรก็ตามสิ่งที่คุณต้องรู้คือคำสั่งip netns exec <namespace> <command>อนุญาตให้เรียกใช้งานคำสั่งในเนมสเปซเครือข่าย (เช่นในหนึ่งในกล่องของการจับครั้งก่อน) จะใช้ในส่วนถัดไปเช่นกัน

# Create the bridge
ip link add br0 type bridge

# Create network namespaces and veth interfaces and plug them into the bridge
for host in {A..D} ; do 
    ip link netns add ${host}
    ip link add veth${host} type veth peer name veth${host}.peer
    ip link set dev veth${host}.peer master br0
    ip link set dev veth${host} netns ${host}
    ip netns exec ${host} ip link set veth${host} up
done

# Assign IPs
ip addr add 10.0.0.254/24 dev br0
ip netns exec A ip addr add 10.0.0.1/24 dev vethA
ip netns exec B ip addr add 10.0.0.2/24 dev vethB
ip netns exec C ip addr add 10.0.0.3/24 dev vethC
ip netns exec D ip addr add 10.0.0.4/24 dev vethD

ดังนั้น ณ จุดนี้เราได้อธิบายการตั้งค่าไว้ก่อนหน้านี้


สร้างการรับส่งข้อมูล

ถึงเวลาเข้าควบคุมการจราจรเพื่อให้ได้สิ่งที่คุณต้องการ tcเครื่องมือที่ช่วยให้คุณสามารถเพิ่มสาขาเข้าคิว:

  • เพื่อออก: เมื่อเคอร์เนลต้องการส่งแพ็กเก็ตและก่อนเข้าถึงไดรเวอร์ NIC
  • สำหรับทางเข้า: หลังจากเข้าถึงไดร์เวอร์ NIC และก่อนที่รูทีนเคอร์เนลจะถูกรันบนแพ็กเก็ตที่ได้รับ

มันมาพร้อมกับความคิดที่ 3: qdisc , เรียนและฟิลเตอร์ แนวคิดเหล่านั้นสามารถใช้เพื่อตั้งค่าการจัดการการไหลของแพ็คเก็ตที่ซับซ้อนและจัดลำดับความสำคัญของการรับส่งข้อมูลตามเกณฑ์ / เกณฑ์ที่คุณต้องการ

โดยสังเขป :

  • Qdiscs เป็นโครงสร้างที่แพ็คเก็ตจะ enqueually enqueued / dequeued
  • คลาสเป็นคอนเทนเนอร์สำหรับ qdiscs ที่ทำหน้าที่กับพฤติกรรมที่เฉพาะเจาะจง
  • ตัวกรองเป็นวิธีในการกำหนดเส้นทางแพ็กเก็ตระหว่างคลาสซึ่งสามารถกำหนดได้หลายตัวในจุดเข้าใช้งานเดียวกันพร้อมลำดับความสำคัญระหว่างการประมวลผล

ทั้งหมดเหล่านี้มักจะทำงานเป็นต้นไม้ที่ใบไม้เป็น qdiscs และคลาสเป็นโหนด รากของต้นไม้หรือทรีย่อยจะได้รับการประกาศให้เป็นและต่อมน้ำเด็กจะได้รับการประกาศให้เป็น<id>: <parent_id>:<children_id>จดจำไวยากรณ์นี้ไว้

สำหรับกรณีของคุณลองใช้ A และสร้างต้นไม้ที่คุณต้องการตั้งค่าด้วยtc:

                                     1:
                                      |
                                      |
                                      |
                                     1:1
                                   /  |  \
                                  /   |   \
                                 /    |    \
                               1:10  1:20  1:30
                                |     |     |
                                |     |     |
                               :10   :20   :30

คำอธิบาย:

  • 1:เป็น qdisc รากที่แนบมากับอุปกรณ์ vethA ก็จะถูกนำมา explicitely เป็นhtbลำดับชั้น Token ถัง (คน qdisc เริ่มต้นของอุปกรณ์อยู่pfifoหรือpfifo_fastไปขึ้นอยู่กับระบบปฏิบัติการ) มันเหมาะสมอย่างยิ่งสำหรับแบนด์วิดธ์ที่มีการจัดการ แพ็คเก็ตที่ไม่ตรงกับตัวกรองที่กำหนดในระดับนี้จะไป1:30เรียน
  • 1:1จะเป็นhtbคลาสที่ จำกัด การรับส่งข้อมูลทั้งหมดของอุปกรณ์ไว้ที่ 10 Mbit / s
  • 1:10จะเป็นhtbคลาสที่ จำกัด ทราฟฟิกเอาต์พุตที่ 9 Mbit / s (90% ของ 10 Mbit / s)
  • 1:20จะเป็นhtbคลาสที่ จำกัด ทราฟฟิกเอาต์พุตที่ 8 Mbit / s (80% ของ 10 Mbit / s)
  • 1:30จะเป็นการhtbจำกัด คลาสของการรับส่งข้อมูลไว้ที่ 10 Mbit / s (สำรอง)
  • :10, :20, :30เป็นsfqqdisc สำหรับ Stochastic Fairness Queuing ในคำอื่น ๆ qdiscs เหล่านี้จะให้ความเป็นธรรมในการจัดตารางการส่งขึ้นอยู่กับกระแส

สิ่งทั้งหมดนี้ถูกติดตั้งโดยคำสั่งต่อไปนี้:

ip netns exec A tc qdisc add dev vethA root handle 1: htb default 30
ip netns exec A tc class add dev vethA parent 1: classid 1:1 htb rate 10mbit burst 15k
ip netns exec A tc class add dev vethA parent 1:1 classid 1:10 htb rate 9mbit burst 15k
ip netns exec A tc class add dev vethA parent 1:1 classid 1:20 htb rate 8mbit burst 15k
ip netns exec A tc class add dev vethA parent 1:1 classid 1:30 htb rate 10mbit burst 15k
ip netns exec A tc qdsic add dev vethA parent 1:10 handle 10: sfq perturb 10
ip netns exec A tc qdisc add dev vethA parent 1:20 handle 20: sfq perturb 10
ip netns exec A tc qdisc add dev vethA parent 1:30 handle 30: sfq perturb 10

สิ่งสุดท้ายที่เราต้องการคือการเพิ่มตัวกรองดังนั้นแพ็กเก็ต IP ที่มี IP ปลายทางเท่ากับ B จะไปที่1:10คลาสและแพ็กเก็ต IP ที่มีปลายทาง IP เท่ากับ C จะไปที่1:20คลาส:

ip netns exec A tc filter add dev vethA parent 1: protocol ip prio 1 u32 match ip dst 10.0.0.2/32 flowid 1:10
ip netns exec A tc filter add dev vethA parent 1: protocol ip prio 2 u32 match ip dst 10.0.0.3/32 flowid 1:20

ตอนนี้คุณได้ความคิดแล้วคุณจะต้องเพิ่มtcกฎที่คล้ายกันลงใน B และ C เพื่อให้การส่งสัญญาณไปยัง A จากแท่นขุดเจาะเหล่านี้มีรูปร่างเหมือนกัน


การทดสอบ

ตอนนี้ลองทดสอบกัน สำหรับเรื่องนี้ฉันใช้เพื่อเล่นด้วยตัวiperfเองมันประกอบด้วยไบนารีเดียวที่สามารถเรียกใช้ในฐานะไคลเอนต์หรือเซิร์ฟเวอร์และจะส่งปริมาณการรับส่งข้อมูลมากที่สุดโดยอัตโนมัติระหว่างโฮสต์ทั้งสอง

ระหว่าง A และ B:

 $ ip netns exec B iperf -s -p 8001
  ...
 $ ip netns exec A iperf -c 10.0.0.2 -p 8001 -t 10 -i 2
------------------------------------------------------------
Client connecting to 10.0.0.2, TCP port 8001
TCP window size: 21.0 KByte (default)
------------------------------------------------------------
[  5] local 10.0.0.1 port 58191 connected with 10.0.0.2 port 8001
[ ID] Interval       Transfer     Bandwidth
[  5]  0.0- 2.0 sec  2.38 MBytes  9.96 Mbits/sec
[  5]  2.0- 4.0 sec  2.12 MBytes  8.91 Mbits/sec
[  5]  4.0- 6.0 sec  2.00 MBytes  8.39 Mbits/sec
[  5]  6.0- 8.0 sec  2.12 MBytes  8.91 Mbits/sec
[  5]  8.0-10.0 sec  2.00 MBytes  8.39 Mbits/sec
[  5]  0.0-10.1 sec  10.8 MBytes  8.91 Mbits/sec

เราได้รับวงเงิน9 Mbit / s ด้วยขีด จำกัด

ระหว่าง A และ C:

$ ip netns exec C iperf -s -p 8001
...
$ ip netns exec A iperf -c 10.0.0.3 -p 8001 -t 10 -i 2
------------------------------------------------------------
Client connecting to 10.0.0.3, TCP port 8001
TCP window size: 21.0 KByte (default)
------------------------------------------------------------
[  5] local 10.0.0.1 port 58522 connected with 10.0.0.3 port 8001
[ ID] Interval       Transfer     Bandwidth
[  5]  0.0- 2.0 sec  2.25 MBytes  9.44 Mbits/sec
[  5]  2.0- 4.0 sec  1.75 MBytes  7.34 Mbits/sec
[  5]  4.0- 6.0 sec  1.88 MBytes  7.86 Mbits/sec
[  5]  6.0- 8.0 sec  1.88 MBytes  7.86 Mbits/sec
[  5]  8.0-10.0 sec  1.75 MBytes  7.34 Mbits/sec
[  5]  0.0-10.1 sec  9.62 MBytes  7.98 Mbits/sec

เราได้รับวงเงิน8 Mbit / s ด้วยขีด จำกัด

ระหว่าง A และ D:

$ ip netns exec D iperf -s -p 8001
...
$ ip netns exec A iperf -c 10.0.0.4 -p 8001 -t 10 -i 2
------------------------------------------------------------
Client connecting to 10.0.0.4, TCP port 8001
TCP window size: 21.0 KByte (default)
------------------------------------------------------------
[  5] local 10.0.0.1 port 40614 connected with 10.0.0.4 port 8001
[ ID] Interval       Transfer     Bandwidth
[  5]  0.0- 2.0 sec  2.62 MBytes  11.0 Mbits/sec
[  5]  2.0- 4.0 sec  2.25 MBytes  9.44 Mbits/sec
[  5]  4.0- 6.0 sec  2.38 MBytes  9.96 Mbits/sec
[  5]  6.0- 8.0 sec  2.25 MBytes  9.44 Mbits/sec
[  5]  8.0-10.0 sec  2.38 MBytes  9.96 Mbits/sec
[  5]  0.0-10.2 sec  12.0 MBytes  9.89 Mbits/sec

ที่นี่เรามีอินเตอร์เฟซที่ความเร็วเต็มเสมือนจริงของ10 Mbit / sถึง

โปรดทราบว่าการวัดการระเบิดครั้งแรกของการวิ่งแต่ละครั้งสามารถทำได้ดีกว่าในhtbคลาสโดยการปรับพารามิเตอร์ที่เพียงพอ


การทำความสะอาด

เพื่อลบ :

  • ตัวกรองที่มีความสำคัญ 1 :1:tc filter del dev vethA parent 1: prio 1 u32
  • ตัวกรองทั้งหมดใน1:: tc filter del dev vethA parent 1:.
  • ชั้นและเด็ก:1:20tc class del dev vethA parent 1:1 classid 1:20
  • ต้นไม้ทั้งหมด: tc qdisc del dev vethA.

ในการทำความสะอาดชุดการจำลอง:

# Remove veth pairs and network namespaces
for host in {A..D} ; do
    ip link del dev veth${host}.peer
    ip netns del ${host}
done

# Remove the bridge
ip link del dev br0

1
ขอบคุณมากสำหรับคำตอบที่น่าอัศจรรย์ของคุณ ถ้าเป็นไปได้คุณช่วยเพิ่มคำสั่งเพื่อลบตัวกรองได้ไหม ในกรณีที่ทุกคนต้องการย้อนกลับการตั้งค่านี้อย่างปลอดภัยหลังจากการจำลอง
Yehia Elshater

1
@YahiaZakaria ฉันเพิ่งเพิ่มข้อมูลนี้ในส่วนหลังของโพสต์ของฉัน
Xavier Lucas

0

Ubuntu มี IPFW ที่พอร์ตจาก FreeBSD และ IPFW มี DUMMYNET ที่อนุญาตให้จัดการพารามิเตอร์เครือข่ายต่างๆ - แบนด์วิดธ์, ความล่าช้า, อัตราการสูญหายของแพ็กเก็ต ฯลฯ


0

วิธีที่ดีที่สุดคือการใช้เครื่องมือ tc กับโมดูล netem ที่รวมอยู่ในขณะนี้ คุณสามารถค้นหาข้อมูลเพิ่มเติมในบทความนี้จาก Stackoverflow


Netem เกี่ยวกับการจำลอง rtt และความแออัดไม่ใช่เกี่ยวกับแบนด์วิดท์
ซาเวียร์ลูคัส

1
@ XavierLucas คุณพูดถูกเพราะแบนด์วิธคุณต้องการเพียง tc โดยไม่ต้องแม้แต่ netem
Luc Stepniewski

0

Trickle ทำงานได้ดี

การสนทนานี้แสดงข้อ จำกัด บางประการ: /unix/109973/how-to-change-speed-limit-of-running-trickle-instance


Trickle ใช้เพื่อจำลองเครือข่ายแบนด์วิดท์สำหรับโปรแกรมเฉพาะ OP ดูเหมือนว่าจะหาทางออกในขอบเขตของโฮสต์
ซาเวียร์ลูคัส

Trickled สามารถใช้เพื่อจำลองกลุ่มการเชื่อมต่อ (ไม่ใช่แค่การเชื่อมต่อเดียว) อันที่จริงคำถามสามารถตีความได้ว่า "การเชื่อมต่อทั้งหมดโฮสต์ไปยังโฮสต์"
Mathew
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.