อาคารในคู่ของหัวข้อเช่นนี้หรือนี้ฉันกำลังมองหาวิธีที่เร็วที่สุดที่จะเป็นประจำคัดลอกไฟล์ในแฟชั่นเข้ารหัสระหว่างคอมพิวเตอร์สองลินุกซ์ นี่เป็นข้อ จำกัด พิเศษบางประการซึ่งเป็นเหตุให้ฉันตัดสินใจเปิดคำถามใหม่:
- คอมพิวเตอร์เชื่อมต่อผ่าน LAN 40Gbit (และต่อมาอาจเป็น 80Gbit) LAN ความหน่วงแฝงไม่ใช่ปัญหาในขณะที่เรากำลังพูดถึงไฟเบอร์เชื่อมต่อระหว่างกันที่มีการสลับเปลี่ยน 20 เมตร
- สมมติฐานคือการสิ้นสุดการส่งและรับหน่วยเก็บข้อมูลสามารถทำให้การเชื่อมต่อ 40Gbit อิ่มตัว
- การถ่ายโอนควรถูกเข้ารหัส เฉพาะเมื่อมันลดความเร็วลงอย่างแท้จริงการเข้ารหัสอาจถูกปิดใช้งาน
- การถ่ายโอนจำเป็นต้องเกิดขึ้นสองสามครั้งต่อวัน ดังนั้นเราต้องสามารถทำให้เป็นแบบอัตโนมัติได้ด้วยวิธีใดวิธีหนึ่ง
- ไฟล์ที่จะถ่ายโอนอาจอยู่ในช่วง 20 - 250 GB ต่อไฟล์
จากสิ่งที่ฉันเรียนรู้มาnetcatอาจเป็นวิธีที่เร็วที่สุด แต่มันเหมาะสำหรับการใช้แบบอัตโนมัติที่ไม่มีผู้ดูแลหรือไม่ แล้วความเร็วของมันจะเป็นอย่างไรเมื่อถูกเจาะผ่าน SSH? มีโปรโตคอลที่เข้ารหัสซึ่งสามารถทำให้ลิงก์ 40G หรือ eben 80G อิ่มตัวได้หรือไม่
// แก้ไข: ตามที่ร้องขอรายละเอียดบางอย่างเกี่ยวกับฮาร์ดแวร์:
- เซิร์ฟเวอร์คือ HPE Proliant DL380 Gen9
- Storage Controller เป็น HPE Smart Array P840ar ที่มี 12Gb / s สำหรับแต่ละ SAS SSD ที่เชื่อมต่อ
- ตัวควบคุมเครือข่ายคือ HPE IB FDR / EN 40Gb 2P 544 + Adaptr FLR-QSFP
ขอบคุณมาก!
คุณไม่คิดว่าคำตอบนั้นขึ้นอยู่กับฮาร์ดแวร์ที่มีอยู่หรือไม่? ไม่เพียง แต่เป็นเรื่องของการเข้ารหัส (แม้ว่าจะเป็นเรื่องสำคัญ) แต่เป็นคำถามว่าคุณสามารถอ่านและเขียนดิสก์ได้เร็วแค่ไหนที่ 40Gb / s ช่องข้อมูลของคุณจะอิ่มตัวแม้กระทั่งเทคโนโลยี SATA3.2 ล่าสุด ดังนั้นจึงเป็นไปไม่ได้ที่จะตอบเว้นแต่ว่าคุณจะระบุฮาร์ดแวร์ที่มีให้คุณ
—
MariusMatutiae
@Seth อุโมงค์ SSH เป็นเพียงตัวอย่างถ้าการถ่ายโอนจริงจะไม่ถูกเข้ารหัสเช่น netcat ถ้าเช่น SFTP จะเร็วพอแน่นอนว่าฉันจะไม่ใช้ SSH ข้างใต้
—
เงียบ
@MariusMatutiae อย่างที่ฉันบอกว่าที่เก็บข้อมูลควรจะสามารถให้ข้อมูลได้ (เรากำลังพูดถึง SAS SSD แต่ละตัวบนลิงก์ 12GB / s เฉพาะไปยังคอนโทรลเลอร์) มันเป็น HPE Smart Array P840ar ที่แม่นยำ ฮาร์ดแวร์เครือข่ายคือ HPE IB FDR / EN 40Gb 2P 544 + FLR-QSFP Adptr)
—
เงียบ
วิธีที่เร็วที่สุดคือวิธีที่มีค่าใช้จ่ายน้อยที่สุดดังนั้นคุณต้องคิดเกี่ยวกับสิ่งที่คุณต้องการทำที่นี่ ตัวอย่างเช่นคุณสามารถใช้
—
เซท
netcatไฟล์ธรรมดาและเข้ารหัสไฟล์ไว้ล่วงหน้า ดังนั้นการถ่ายโอนเครือข่ายจะรวดเร็ว แต่คุณต้องใช้เวลาเตรียมการ คุณสามารถใช้การเชื่อมต่อ SSH หรือ IPSec และใช้การเข้ารหัสตามการเชื่อมต่อ นอกจากนี้คุณจะต้องคิดเกี่ยวกับโครงสร้างของข้อมูล มันอาจคุ้มค่าที่จะบีบอัดไฟล์เหล่านั้นหรืออย่างน้อยก็ใช้ tar เพื่อรับไฟล์ต่อเนื่อง / เสาหินแทนที่จะเป็นไฟล์ขนาดเล็กจำนวนมาก (อาจสำคัญหากโซลูชันของคุณใช้ FTP)
It is designed to be a reliable "back-end" tool that can be used directly or easily driven by other programs and scripts.