แบ่งไฟล์ออกเป็นสองส่วนต่างกัน แต่ใช้ภายใต้พา ธ เดียว


4

ฉันต้องการแยกไฟล์ขนาดใหญ่ (300GB) ซึ่งอยู่ในhomeไดเรกทอรีของฉันภายใต้dev/sdb1ส่วนที่แตกต่างกันสองส่วน (หรือมากกว่า) แล้วย้ายไปไว้ในดิสก์ไดรฟสองตัว อย่างไรก็ตามฉันต้องการให้ระบบของฉันเห็นไฟล์เป็นไฟล์เดียว

เพื่อให้เป็นรูปธรรมมากขึ้นฉันต้องการแยกไฟล์เป็นสองส่วน 150GB (หรือสาม 100GB ฯลฯ ) และย้ายส่วนเหล่านั้นเป็น SSD ที่แตกต่างกันที่ฉันมี แต่ไฟล์นี้ถูกใช้เป็นภาพของโครงการวิจัยและฉันต้องการให้ระบบมองเป็นไฟล์เดียว นอกจากนี้ฉันจะต้องระบุพา ธ ของมันในไฟล์อื่น ( .prototxtไฟล์ที่ฉันระบุอินพุตทั้งหมดไปยังโปรแกรมของฉัน) และนั่นคือเหตุผลที่ฉันต้องการมีหนึ่งพา ธ ที่ระบบรับรู้ไฟล์ (แยก) น่าเสียดายที่ SSD นั้นมีขนาดไม่ใหญ่พอที่จะเก็บไฟล์ได้ทั้งหมด

นอกจากนี้เมื่อฉันเรียกใช้df -hSSD จะแสดงเป็น:

Filesystem                           Mounted on
cluster-name-1-int:/var/tmp/local    /import/cluster-name-1-int  
cluster-name-2-int:/var/tmp/local    /import/cluster-name-2-int

ระบบของฉันอยู่ในกลุ่ม แต่ฉันไม่คิดว่ามันจะสร้างความแตกต่างใด ๆ เพราะฉันมีการเข้าถึงจากcluster-name-1เครื่องไปยัง SSD ในที่อื่น ๆ ล่าสุดฉันไม่มีการเข้าถึงรูทดังนั้นโปรดบอกฉันว่าโซลูชันของคุณต้องการสิทธิ์รูทหรือไม่ เพื่อที่ฉันจะได้รู้และหาวิธีที่จะใช้โซลูชันนั้น

แก้ไข: ฉันให้ข้อมูลมากที่สุดเท่าที่ฉันคิดว่าจะเป็นประโยชน์ ใช้สิ่งที่คุณคิดว่าอาจช่วยแก้ปัญหาและยินดีให้คำแนะนำ


หาก RAID ไม่ได้ผลสำหรับคุณ ไฟล์ประเภทใด ตัวอย่างเช่นสำหรับฐานข้อมูลคุณจะต้องสร้างฐานข้อมูลที่สองและแบ่งตารางระหว่างพวกเขา อิมเมจเครื่องเสมือนขนาด 300GB จะต้องใช้และวิธีการที่แตกต่างอย่างสิ้นเชิง นอกจากนี้ไฟล์ zip, tar หรือไฟล์บีบอัดก็แตกต่างกันโดยสิ้นเชิง
ไซเบอร์นาร์ด

1
โปรแกรมใดบ้างที่ใช้ไฟล์? คุณสามารถsplitย้ายและซอฟต์ลิงค์ชิ้นส่วนและใช้cat soft_ln_DIR/all_soft_lnเป็นทางเลือกแล้วส่งออกไปยังโปรแกรมได้หรือไม่?
Fiximan

คำตอบ:


1

หากคุณสามารถเพิ่มรูปแบบ SSD และติดตั้ง RAID ก็ไม่น่าจะมีปัญหา

การเข้าถึงรูทอาจต้องใช้ครั้งเดียวเพื่อเมานต์และกำหนดสิทธิ์ให้กับ RAID แต่ไม่ใช่หลังจากนั้น

ฮาร์ดแวร์ RAID 5 หรือ 6 จะเรียกใช้วงกลมรอบ ๆ ซอฟต์แวร์ RAID เนื่องจากการ์ด RAID มีหน่วยความจำและซีพียูของตัวเองและ CPU ของคุณไม่ทำงาน

ใช้ a, Raid lingo, ขนาดแถบ 8mb เนื่องจากนี่เป็นการเพิ่มความเร็วสูงสุดของ SSD หาก 8mb ไม่พร้อมใช้งานให้ใช้งานมากที่สุด

ตัวควบคุม RAID มีไบออสของตัวเองเพื่อให้คุณสร้าง RAID เพื่อไม่ให้เข้าถึงรูทในเครื่องได้

หากคุณใส่ SSD ลงใน RAID 5 ข้อมูลทั้งหมดจะถูกแบ่งในทุกไดรฟ์โดยอัตโนมัติ ข้อมูลจะถูกแบ่งเป็นบล็อกในพื้นหลัง หากคุณมี 3 ไดรฟ์ RAID 5 โดยทั่วไปแล้ว 1/3 ของข้อมูลอยู่ในแต่ละไดรฟ์ ใน Linux RAID ทั้งหมดจะมีจุดเชื่อมต่อ 1 จุด ไฟล์ดังกล่าวจะยังคงเป็นไฟล์เพียง 1 ไฟล์เท่านั้น แต่จะได้รับข้อได้เปรียบด้านความเร็ว (ความเร็วในการอ่าน 3 เท่าสำหรับไดรฟ์ 3 ตัวโดยสมมติว่าคอนโทรลเลอร์ของคุณสามารถรองรับความเร็วได้มาก) ใช้บัตรตรวจค้นที่เหมาะสม

หมายเหตุอื่น ๆ : SSD ต้องมีขนาดเท่ากันหรือบางพื้นที่ว่างเปล่า หากคุณมี 3 ไดรฟ์ 128GB, 128GB, 64gb RAID จะเห็น 64x3 คุณสามารถอัพเกรด 64GB ในภายหลังและขยายอาร์เรย์ทั้งหมดเป็น 128x3 คุณสูญเสีย 1 ดิสก์ไปยังข้อมูลแบบพาริตี้ แต่หาก 1 ดิสก์ใด ๆ ล้มเหลวอีก 2 ดิสก์จะสร้างขึ้นมาใหม่

ฮาร์ดแวร์ RAID นั้นดีที่สุด แต่มีซอฟต์แวร์ RAID อยู่ยกเว้นการเขียนถึงพวกเขาจะใช้ CPU เป็นจำนวนมาก

  1. Linux มีความสามารถในตัวในการมีซอฟต์แวร์ RAID 5
  2. Linux ยังมีระบบไฟล์ ZFS ซึ่งช่วยให้คุณสามารถรวมไฟล์ของคุณได้หลายวิธีรวมถึง แต่ไม่ จำกัด เพียง RAID 5 ข้อเสียคือมันใช้หน่วยความจำจำนวนมากและ CPU บางตัว http://www.thegeekstuff.com/2015/07/zfs-on-linux-zpool/

Zpool สร้าง -f mypool raidz sdb sdc sdd sde sdf

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.