ต่อท้ายไฟล์ขนาดใหญ่ต่อกันโดยไม่ต้องคัดลอก

มีไฟล์ขนาดใหญ่ 5 ไฟล์ (file1, file2, .. file5) ประมาณ 10G แต่ละไฟล์และมีพื้นที่ว่างเหลือน้อยมากเหลือน้อยบนดิสก์และฉันต้องการเชื่อมไฟล์ทั้งหมดนี้ให้เป็นไฟล์เดียว ไม่จำเป็นต้องเก็บไฟล์ต้นฉบับไว้เพียงไฟล์สุดท้ายเท่านั้น

การต่อข้อมูลตามปกติจะเกิดขึ้นcatตามลำดับสำหรับไฟล์file2.. file5:

cat file2 >> file1 ; rm file2

น่าเสียดายที่วิธีนี้ต้องการพื้นที่ว่างอย่างน้อย 10G ที่ฉันไม่มี มีวิธีการเชื่อมไฟล์โดยไม่ต้องคัดลอกจริง แต่บอกระบบไฟล์อย่างใดที่ file1 ไม่ได้จบที่ file1 เดิมและดำเนินการต่อที่ file2 เริ่ม?

PS ระบบไฟล์เป็น ext4 ถ้าเรื่องนั้นสำคัญ

AFAIK เป็นไปไม่ได้ที่จะตัดทอนไฟล์ตั้งแต่ต้น (อาจเป็นจริงสำหรับเครื่องมือมาตรฐาน แต่สำหรับระดับ syscall ดูที่นี่ ) แต่ด้วยการเพิ่มความซับซ้อนบางอย่างคุณสามารถใช้การตัดแบบปกติ (รวมถึงไฟล์แบบกระจาย): คุณสามารถเขียนไปยังจุดสิ้นสุดของไฟล์เป้าหมายโดยไม่ต้องเขียนข้อมูลทั้งหมดในระหว่างนั้น

สมมติว่าทั้งสองไฟล์เป็น 5GiB (5120 MiB) และคุณต้องการย้ายครั้งละ 100 MiB คุณรันลูปซึ่งประกอบด้วย

1. คัดลอกหนึ่งบล็อกจากจุดสิ้นสุดของไฟล์ต้นฉบับไปยังจุดสิ้นสุดของไฟล์เป้าหมาย (เพิ่มพื้นที่ดิสก์ที่ใช้)

2. การตัดไฟล์ต้นฉบับด้วยหนึ่งบล็อก (การเพิ่มพื้นที่ว่างในดิสก์)

   for((i=5119;i>=0;i--)); do
     dd if=sourcefile of=targetfile bs=1M skip="$i" seek="$i" count=1
     dd if=/dev/zero of=sourcefile bs=1M count=0 seek="$i"
   done
   

แต่ให้ลองกับไฟล์ทดสอบที่เล็กกว่าก่อนโปรด ...

อาจเป็นไฟล์ที่มีขนาดเท่ากันหรือทวีคูณของขนาดบล็อกไม่ได้ ในกรณีดังกล่าวการคำนวณออฟเซ็ตมีความซับซ้อนมากขึ้น seek_bytesและskip_bytesควรจะใช้แล้ว

หากนี่คือวิธีที่คุณต้องการไป แต่ต้องการความช่วยเหลือสำหรับรายละเอียดโปรดถามอีกครั้ง

การเตือน

ขึ้นอยู่กับddขนาดบล็อกไฟล์ที่ได้จะเป็นฝันร้ายที่กระจัดกระจาย

แทนที่จะทำการรวมไฟล์เข้าด้วยกันเป็นไฟล์เดียวอาจจำลองไฟล์เดียวด้วยไพพ์ที่มีชื่อหากโปรแกรมของคุณไม่สามารถจัดการไฟล์หลายไฟล์ได้

mkfifo /tmp/file
cat file* >/tmp/file &
blahblah /tmp/file
rm /tmp/file

ดังที่ Hauke ​​แนะนำ losetup / dmsetup สามารถทำงานได้เช่นกัน การทดสอบอย่างรวดเร็ว; ฉันสร้าง 'file1..file4' และด้วยความพยายาม:

for i in file*;do losetup -f ~/$i;done

numchunks=3
for i in `seq 0 $numchunks`; do
        sizeinsectors=$((`ls -l file$i | awk '{print $5}'`/512))
        startsector=$(($i*$sizeinsectors))
        echo "$startsector $sizeinsectors linear /dev/loop$i 0"
done | dmsetup create joined

จากนั้น / dev / dm-0 มีอุปกรณ์บล็อกเสมือนที่มีไฟล์ของคุณเป็นเนื้อหา

ฉันยังไม่ได้ทดสอบอย่างนี้

การแก้ไขอื่น: ขนาดไฟล์ต้องหารด้วย 512 อย่างสม่ำเสมอหรือคุณจะสูญเสียข้อมูลบางส่วน ถ้าเป็นเช่นนั้นคุณก็เป็นคนดี ฉันเห็นเขายังตั้งข้อสังเกตว่าด้านล่าง

คุณจะต้องเขียนสิ่งที่คัดลอกข้อมูลเป็นกลุ่มที่มีขนาดใหญ่ที่สุดเท่ากับจำนวนพื้นที่ว่างที่คุณมี มันควรจะทำงานแบบนี้:

• อ่านบล็อกของข้อมูลจากfile2(ใช้pread()โดยค้นหาก่อนอ่านไปยังตำแหน่งที่ถูกต้อง)
• file1ผนวกกับบล็อก
• ใช้fcntl(F_FREESP)เพื่อ deallocate file2พื้นที่จาก
• ทำซ้ำ

ฉันรู้ว่ามันเป็นวิธีการแก้ปัญหามากกว่าสิ่งที่คุณขอ แต่มันจะดูแลปัญหาของคุณ (และมีการกระจายตัวเล็กน้อยหรือ headcratch):

#step 1
mount /path/to/... /the/new/fs #mount a new filesystem (from NFS? or an external usb disk?)

แล้ว

#step 2:
cat file* > /the/new/fs/fullfile

หรือถ้าคุณคิดว่าการบีบอัดจะช่วย:

#step 2 (alternate):
cat file* | gzip -c - > /the/new/fs/fullfile.gz

จากนั้น (และจากนั้นเท่านั้น) ในที่สุด

#step 3:
rm file*
mv /the/new/fs/fullfile  .   #of fullfile.gz if you compressed it