ฉันจะ จำกัด แบนด์วิดท์ที่ใช้โดยกระบวนการได้อย่างไร

ฉันมีเซิร์ฟเวอร์ CentOS 5.7 ที่จะทำการสำรองไฟล์ทุกคืน ฉันกังวลว่าผู้เยี่ยมชมไซต์ต่างๆที่โฮสต์เซิร์ฟเวอร์จะได้รับประสิทธิภาพลดลงในขณะที่การสำรองข้อมูลกำลังถ่ายโอนข้ามเครือข่าย

เป็นไปได้หรือไม่ที่จะ จำกัด ปริมาณการรับส่งข้อมูลสูงสุดที่กระบวนการอนุญาตให้เชื่อมต่อกับเครือข่าย ฉันต้องการ จำกัด การถ่ายโอนไฟล์ที่ใช้ SSH เพียงครึ่งหนึ่งของแบนด์วิดท์ที่มีอยู่ของฉัน นี่อาจเป็นทางเซิร์ฟเวอร์หรือฝั่งไคลเอ็นต์ นั่นคือฉันยินดีที่จะทำเช่นนี้กับลูกค้าที่เริ่มต้นการเชื่อมต่อหรือเซิร์ฟเวอร์ที่ได้รับการเชื่อมต่อ

_{(น่าเสียดายที่ฉันไม่สามารถเพิ่มอินเทอร์เฟซเพื่ออุทิศให้กับการสำรองข้อมูลฉันสามารถเพิ่มปริมาณงานที่มีได้ แต่นั่นก็หมายความว่าการถ่ายโอนเครือข่ายจะเสร็จเร็วขึ้น แต่ยังคงความจุสูงสุดของการเชื่อมต่อทั้งหมด}

พื้นหลังบางส่วน

บางทีพื้นหลังบางอย่างอยู่ในลำดับ เมื่อย้อนกลับไปฉันมีปัญหากับการมีพื้นที่ในตัวเครื่องไม่เพียงพอในการสร้างข้อมูลสำรอง ใส่ SSHFS! การสำรองข้อมูลจะถูกบันทึกไว้ในสิ่งที่เป็นไดรฟ์ภายในอย่างเห็นได้ชัดเพื่อให้ไม่มีบิตการสำรองข้อมูลอยู่บนเว็บเซิร์ฟเวอร์

เหตุใดจึงสำคัญ เพราะดูเหมือนว่าจะทำให้การใช้งานของผู้นับถือrsync --bwlimitนั้นเป็นโมฆะ rsyncไม่ได้ทำการโอนย้ายหรือทำได้เพราะฉันไม่สามารถสำรองพื้นที่ในการบันทึกไฟล์สำรองได้

ฉันได้ยินคุณถามว่า: "เดี๋ยวก่อนทำไมคุณถึงต้องสร้างไฟล์สำรองข้อมูลด้วยทำไมไม่เพียงแค่rsyncไฟล์และโฟลเดอร์ต้นทาง" เพราะสิ่งที่น่ารำคาญที่เรียกว่า "Plesk" อยู่ในส่วนผสม! นี่คือเว็บโฮสต์ที่ไคลเอ็นต์ของฉันซึ่งใช้ Plesk เพื่อความสะดวก ด้วยเหตุนี้ฉันจึงใช้ Plesk เพื่อเริ่มการสำรองข้อมูลเพราะ Plesk เพิ่มความมหัศจรรย์พิเศษทุกประเภทให้กับการสำรองข้อมูลที่ใช้งานได้ในระหว่างขั้นตอนการกู้คืนที่ปลอดภัยมาก

หน้าเศร้า

คุณสามารถใช้iptablesเพื่อทำเครื่องหมายแพ็คเก็ต (--pid-owner ... ) จากนั้นใช้tcเพื่อกำหนดรูปร่างการรับส่งข้อมูล นอกจากนี้ยังสามารถใช้ "--sid-owner" เพื่อรวมเธรดและลูกของกระบวนการนั้น

http://www.frozentux.net/iptables-tutorial/iptables-tutorial.html#OWNERMATCH

จับคู่ --pid-owner
Kernel 2.3, 2.4, 2.5 และ 2.6
ตัวอย่าง iptables -A OUTPUT -m owner --pid-owner 78
คำอธิบายการ จับคู่นี้ใช้เพื่อจับคู่แพ็กเก็ตตามรหัสกระบวนการ (PID) ที่รับผิดชอบ การจับคู่นี้ใช้งานยากขึ้นเล็กน้อย แต่ตัวอย่างหนึ่งจะอนุญาตให้ PID 94 ส่งแพ็กเก็ตจากพอร์ต HTTP เท่านั้น (หากกระบวนการ HTTP ไม่ได้ถูกเธรดแน่นอน) อีกทางเลือกหนึ่งเราสามารถเขียนสคริปต์ขนาดเล็กที่คว้า PID จากเอาต์พุต ps สำหรับ daemon ที่เฉพาะเจาะจงแล้วเพิ่มกฎสำหรับมัน ตัวอย่างเช่นคุณอาจมีกฎตามที่แสดงในตัวอย่าง Pid-owner.txt

ทางเลือกหนึ่งที่ฉันเพิ่งค้นพบคือการใช้หยด

หยดเป็น shaper แบนด์วิดธ์ของผู้ใช้แบบพกพาน้ำหนักเบา มันสามารถทำงานในโหมดการทำงานร่วมกัน (พร้อมกับเล็ดลอด) หรือในโหมดสแตนด์อะโลน

หยดทำงานโดยใช้ประโยชน์จากการโหลดไว้ล่วงหน้า unix โดยพื้นฐานแล้วแอพพลิเคชั่นนี้เป็นเวอร์ชั่นใหม่ของฟังก์ชันการทำงานที่จำเป็นในการส่งและรับข้อมูลผ่านซ็อกเก็ต จากนั้นจะ จำกัด ปริมาณการรับส่งข้อมูลตามการหน่วงเวลาการส่งและรับข้อมูลผ่านซ็อกเก็ต หยดทำงานในพื้นที่ผู้ใช้ทั้งหมดและไม่ต้องการสิทธิ์รูท

หากคุณสามารถเขียนไปที่ไพพ์ (หรือ stdout) คุณสามารถติดตั้งpvคำสั่ง (ไพพ์วิวเวอร์) เดิมเขียนขึ้นเพื่อแสดงความคืบหน้าของข้อมูลที่ถ่ายโอนผ่านไปป์

tar cvf - /files/to/backup | pv -L 512k > /your/file/on/sshfs

   -L RATE, --rate-limit RATE
          Limit the transfer to a maximum of RATE  bytes  per  second.   A
          suffix of "k", "m", "g", or "t" can be added to denote kilobytes
          (*1024), megabytes, and so on.

ฉันใช้ rsync กับตัวเลือก --bwlimit = KBPS ด้วยเหตุผลเดียวกัน

อีเทอร์เน็ต 1 Gbit ของเราสามารถลบ SCSI320 DAS RAID เก่าของเราได้อย่างง่ายดายและโดยพื้นฐานแล้ว DOS เป็นกล่องผลิตรุ่นเก่าของเราบางส่วนที่ใช้ในร้าน NFS

คุณจะถ่ายโอนข้อมูลได้อย่างไร (rsync มากกว่า ssh? scp? sftp อย่างอื่น)

rsync จะอนุญาตให้คุณ จำกัด แบนด์วิดท์ (ดูตัวเลือก --bwlimit = KBPS) rsync -e ssh --bwlimit ..

อีกวิธีหนึ่งคุณสามารถตั้งค่า qdisc หรือเทียบเท่าเพื่อ จำกัด อัตราแฟนซี แต่ฉันสงสัยว่าในกรณีของคุณนี้จะเป็น overkill รุนแรง เอกสารเกี่ยวกับเรื่องนี้มีอยู่ที่Linux Advanced Routing และ Traffic HOWTO