แบ่งปัน / home ระหว่างดาต้าเซ็นเตอร์


15

ฉันมีเซิร์ฟเวอร์สองเครื่องวางไว้ที่ศูนย์ข้อมูลในฮอลแลนด์และฝรั่งเศส ทั้งคู่กำลังเรียกใช้ Debian Wheezy ฉันต้องการแบ่งปัน / home ระหว่างพวกเขาด้วยประสิทธิภาพที่ดี มีผู้ใช้ 300 คนบนเซิร์ฟเวอร์ประมาณ 30 คนควรสามารถมีกระบวนการที่ทำงานอยู่บนเซิร์ฟเวอร์ที่กำหนดในเวลาที่กำหนดแต่ละคนมี 50 kbit อ่านและ 20 kbit เขียน / วินาทีโดยมียอดสั้น ๆ ประมาณ 2,000 kbit / กำลังอ่าน มาตรการกับไอโซโทปในการจัดเก็บในท้องถิ่น ฉันมีไฟล์ขนาดเล็กจำนวนมากประมาณ 500,000 ทั้งหมดและต้องการเวลาแฝงที่ต่ำที่สุด Ping ระหว่างเซิร์ฟเวอร์คือ 17 ms และการเชื่อมต่อสามารถเข้าถึงได้ประมาณ 20-30 MB / s เมื่อใช้ scp และ wget ดูเหมือนว่าควรมีแบนด์วิดท์มากมายให้ใช้งานได้ แต่ ...

สิ่งที่ฉันได้รับการฝึกฝนมาจนถึงตอนนี้: sshfs: ดูเหมือนว่ามันจะมีประสิทธิภาพที่ดีกว่า nfs แต่มันก็เปลี่ยนสิทธิ์ของไฟล์ไปเป็นรูททำให้แอปพลิเคชันเสียหาย

nfs: หนทางที่จะทำให้ช้าลงลองใช้ตัวเลือกอื่น ๆ เป็นจำนวนมาก แต่มันก็ทำหน้าที่อืดแม้ว่าจะมีเพียงไม่กี่กระบวนการเท่านั้นที่ยังทำงานอยู่

drbd: การหยุดงาน 5 ชั่วโมงเมื่อฉันรู้ว่าฉันไม่สามารถเมานท์ระบบไฟล์ในทั้งสองระบบ :-(

glusterfs: การมีสำเนาของข้อมูลทั้งหมดที่ให้สัญญาว่าจะดี แต่การเข้าถึงไฟล์แบบสุ่มนั้นช้ามากและหลังจากใช้งานไปสักพักมันจะช้าและไม่น่าเชื่อเลย ตอนเที่ยงไม่ได้ช่วยอะไร

nfs อีกครั้ง: ยังคงซบเซา

ร้องไห้ในคีย์บอร์ด: ไม่มีการปรับปรุงเลย

ต้องลองอะไรต่อไป การทดลองที่ล้มเหลวแต่ละครั้งใช้เวลาช่วงเย็นหรือมากกว่านั้นในช่วงสัปดาห์ที่ผ่านมาและฉันต้องการวิธีถัดไปในการทำงานจริง ๆ และใช่มันสำคัญมากที่ระบบไฟล์จะถูกแชร์ระหว่างเซิร์ฟเวอร์ทั้งสอง

ขอบคุณสำหรับแนวคิดใหม่ ๆ เกี่ยวกับปัญหานี้


6
"ร้องไห้เข้ากับแป้นพิมพ์: ไม่มีการปรับปรุงเลย" ตกลงนั่นคือรับ +1 จากฉัน
ceejayoz

คุณอาจต้องการทั้ง glusterfs หรือ ceph ระบบไฟล์แบบกระจาย นอกจากนี้คุณสามารถติดตั้ง drbd ได้หลายครั้ง แต่มีเพียงหนึ่งการอ่าน - เขียนและเป็นความคิดที่ไม่ดีที่น่ากลัว แต่อย่างใด
Sirex

ฉันลองใช้ glusterfs และในขณะที่มันใช้งานได้ดีกับไฟล์ขนาดใหญ่มันจะช้ามากเมื่ออ่านหรือเขียนไฟล์ขนาดเล็ก ดูเหมือนว่าจะเป็นปัญหาทั่วไปของ glusterfs และฉันไม่สามารถแก้ไขได้ ฉันจะดูเป็น Ceph คุณเคยลองไหมคุณลองด้วยตัวเอง?
user3850506

3
การติดตั้งอุปกรณ์บล็อกและระบบไฟล์เดียวกันแม้ RO บนระบบที่แตกต่างกันนั้นไม่ดี juju เว้นแต่ว่าไดรเวอร์ระบบไฟล์จะเข้าใจอุปกรณ์บล็อกสำรองสามารถเปลี่ยนได้ตลอดเวลา อุปกรณ์บล็อกสามารถเปลี่ยนแปลงและทำให้แคช inode ใช้ไม่ได้อย่างสมบูรณ์และ VFS จะอ่านข้อมูลอย่างมีความสุขที่ไม่ได้อยู่ในที่ที่คุณคิด ระบบไฟล์การแจ้งเตือนดิสก์ที่ใช้ร่วมกันเช่น GFS2 และ veritas สามารถทำได้บน DRBD หรือดิสก์ใด ๆ ที่คล้ายกับ SAN ฉันไม่สามารถบอกได้ว่าประสิทธิภาพไฟล์ขนาดเล็กของคุณจะเป็นที่ยอมรับ
Andrew Domaszek

1
วิธีการเกี่ยวกับ MARS: schoebel.github.io/mars youtube.com/watch?v=WwXOQJ6XiVI
Andrew

คำตอบ:


2

มีวิธีแก้ปัญหาที่เป็นไปได้สำหรับสิ่งนี้:

  1. คุณสามารถไปที่หน่วยเก็บข้อมูลบล็อกที่จำลองแบบได้เช่น DRBD (หรือ MARS ดังกล่าวข้างต้น) แต่คุณต้องตั้งค่าระบบไฟล์คลัสเตอร์ที่ด้านบนของที่เก็บข้อมูลบล็อก ระบบไฟล์ดังกล่าวอาจเป็น GFS2 หรือ OCFS2 ซึ่งทั้งคู่มีอยู่ใน Debian kernel afaik DRBD สามารถจัดการหลัก / หลักและคุณสามารถเชื่อมต่อกับเซิร์ฟเวอร์ทั้งสองในเวลาเดียวกัน แต่ถ้าคุณทำเช่นนี้กับระบบไฟล์มาตรฐานเซิร์ฟเวอร์หนึ่งไม่รู้เรื่องอื่นและคุณจะทำลายระบบไฟล์ของคุณในไม่กี่วินาที ระบบไฟล์คลัสเตอร์ด้านบนจะจัดการกับการสื่อสารและการล็อกเพื่อให้ทั้งสองโหนดสามารถเขียนไปยังบล็อกเดียวกัน

  2. ใช้ระบบไฟล์แบบกระจายสำหรับ / home คุณจะพบรายชื่อของระบบไฟล์ดังกล่าวที่http://en.wikipedia.org/wiki/Comparison_of_distributed_file_systems แต่ระวังและเลือกอย่างชาญฉลาด พวกเขาไม่สามารถทำเวทมนตร์ได้และทุกคนก็มีข้อเสีย Gluster เป็นระบบไฟล์ สำหรับบางระบบคุณอาจต้องการมากกว่าสองโหนด

  3. หากไม่จำเป็นต้องทำซ้ำในแบบเรียลไทม์และการซิงค์ไฟล์แบบเรียลไทม์จะเพียงพอแล้วดูที่ BitTorrent Sync ( http://www.getsync.com/ ), Dropbox หรือทางเลือกอื่น แต่ละเซิร์ฟเวอร์มีของตัวเอง / ที่บ้าน แต่การเปลี่ยนแปลงจะถูกทำซ้ำบนพื้นฐานของไฟล์ไปยังเซิร์ฟเวอร์อื่น


1
rsync ftw 123456
dmourati
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.