ฉันจะแปลงอิมเมจดิสก์ Linux เป็นไฟล์แบบกระจายได้อย่างไร

ฉันมีดิสก์อิมเมจมากมายที่สร้างด้วย ddrescue บนพาร์ติชัน EXT และฉันต้องการลดขนาดโดยไม่สูญเสียข้อมูลในขณะที่ยังคงสามารถเมานต์ได้

ฉันจะเติมพื้นที่ว่างในระบบไฟล์ของภาพด้วยค่าศูนย์จากนั้นแปลงไฟล์เป็นไฟล์แบบกระจัดกระจายเพื่อให้พื้นที่ว่างนี้ไม่ได้ถูกจัดเก็บจริงบนดิสก์

ตัวอย่างเช่น:

> du -s --si --apparent-size Jimage.image 
120G Jimage.image
> du -s --si Jimage.image 
121G Jimage.image

นี่เป็นเพียงข้อมูลจริง 50G เท่านั้นดังนั้นการวัดครั้งที่สองควรน้อยกว่ามาก

นี้ควรจะเติมเต็มพื้นที่ว่างด้วยศูนย์:

cat /dev/zero > zero.file
rm zero.file

แต่ถ้าไฟล์ sparse ได้รับการจัดการอย่างโปร่งใสมันอาจสร้างไฟล์ sparse โดยไม่ต้องเขียนอะไรไปยังดิสก์เสมือนทำให้ฉันไม่สามารถเปลี่ยนอิมเมจดิสก์เสมือนเป็นไฟล์ sparse ได้ :) ทำมัน?

หมายเหตุ: ด้วยเหตุผลบางอย่างsudo dd if=/dev/zero of=./zero.fileทำงานเมื่อcatไม่ได้อยู่ในดิสก์อิมเมจที่เมาท์

ก่อนอื่นไฟล์ที่กระจัดกระจายจะได้รับการจัดการอย่างโปร่งใสเฉพาะในกรณีที่คุณค้นหาไม่ใช่ถ้าคุณเขียนเลขศูนย์

เพื่อให้ชัดเจนยิ่งขึ้นตัวอย่างจาก Wikipedia

dd if=/dev/zero of=sparse-file bs=1k count=0 seek=5120

ไม่ได้เขียนเลขใด ๆ ก็จะเปิดไฟล์ที่ส่งออกแสวงหา (กระโดดข้าม) 5MB แล้วเขียนศูนย์ศูนย์ (ไม่มีอะไรเช่นที่ทั้งหมด) คำสั่งนี้ ( ไม่ใช่จาก Wikipedia)

dd if=/dev/zero of=sparse-file bs=1k count=5120

จะเขียนเลขศูนย์ 5MB และจะไม่สร้างไฟล์กระจัดกระจาย!

ผลที่ตามมาคือไฟล์ที่ไม่ได้กระจัดกระจายอยู่แล้วจะไม่กระจัดกระจายอย่างน่าอัศจรรย์ในภายหลัง

ประการที่สองเพื่อทำให้ไฟล์ที่มีจำนวนมาก zeroes เบาบางคุณต้องCPมัน

cp --sparse=always original sparsefile

หรือคุณสามารถใช้ตัวเลือกของtarหรือrsyncได้เช่นกัน

บางทีวิธีที่ง่ายที่สุดในการแยกไฟล์ในตำแหน่งที่จะใช้fallocateโปรแกรมอรรถประโยชน์ดังต่อไปนี้:

fallocate -v --dig-holes {file_name}

fallocate (1)เป็นผู้ให้บริการutil ลินุกซ์แพคเกจในเดเบียน

การแก้ไขคำตอบของฉันเพื่อความสมบูรณ์:

1. บอลลูนพื้นที่ FS ว่างเปล่าด้วยเลขศูนย์ (คำเตือน: สิ่งนี้จะเปลี่ยนอิมเมจดิสก์ของคุณ):

losetup --partscan --find --show disk.img

สมมติว่ามันให้ / dev / loop1 เป็นดิสก์และมีพาร์ติชันเดียวเท่านั้นมิฉะนั้นเราจำเป็นต้องทำซ้ำสำหรับทุกพาร์ติชันที่มี FS ที่สามารถติดตั้งได้ (ละเว้นการสลับพาร์ติชัน ฯลฯ )

mkdir -p /mnt/tmp mount /dev/loop1p1 /mnt/tmp dd if=/dev/zero of=/mnt/tmp/tempfile

ปล่อยให้มันล้มเหลวด้วย ENOSPC

/bin/rm -f /mnt/tmp/tempfile umount /mnt/tmp losetup -d /dev/loop1

2. คัดลอกลงในรูปภาพที่กระจัดกระจาย:

'dd' มีตัวเลือกในการแปลงไฟล์ด้วยเลขศูนย์เป็นไฟล์ sparse:

dd if=disk.img of=disk-sparse.img conv=sparse

คุณหมายถึงภาพที่สร้างขึ้นของคุณคือ 50 GB และในความเป็นจริงแล้วมีบางอย่างที่พอเพียง?

หากเป็นกรณีนี้คุณไม่สามารถสร้างภาพใหม่ด้วย dd ก่อนได้หรือไม่:

dd if=/dev/zero of=some_image.img bs=1M count=20000

จากนั้นสร้างระบบไฟล์ในนั้น:

mkfsofyourchoice some_image.img

จากนั้นเพียงติดตั้งภาพและคัดลอกทุกอย่างจากภาพเก่าไปยังภาพใหม่ มันจะใช้ได้ผลกับคุณเหรอ?

PartImageสามารถสร้างดิสก์อิมเมจที่เก็บเฉพาะบล็อกที่ใช้ของระบบไฟล์เท่านั้นดังนั้นจึงลดพื้นที่ที่จำเป็นลงอย่างมากโดยไม่สนใจบล็อกที่ไม่ได้ใช้ ฉันไม่คิดว่าคุณจะสามารถเมานต์รูปภาพที่ปรากฏได้โดยตรง แต่ไปที่:

image -> partimage -> image -> cp --sparse=alway

ควรผลิตสิ่งที่คุณต้องการ (อาจเป็นไปได้ที่จะติดขั้นตอนสุดท้ายยังไม่ได้ลอง)

ตอนนี้มีเครื่องมือที่เรียกว่าvirt-sparsifyซึ่งจะทำสิ่งนี้ เติมเต็มพื้นที่ว่างด้วยเลขศูนย์แล้วคัดลอกรูปภาพไปยังไฟล์แบบกระจาย แต่ต้องติดตั้งการอ้างอิงจำนวนมาก

ฉันสงสัยว่าคุณจะต้องมีโปรแกรมที่กำหนดเองที่เขียนลงในสเป็กนั้นถ้านั่นเป็นสิ่งที่คุณต้องการทำจริงๆ แต่มันคือ ...

หากคุณมีพื้นที่ทั้งหมดเป็นศูนย์จำนวนมากเครื่องมือการบีบอัดใด ๆ ที่ดีจะทำให้มันแย่ลงอย่างมาก และการพยายามเขียนไฟล์กระจัดกระจายจะไม่ทำงานในทุกกรณี หากฉันจำได้อย่างถูกต้องแม้ไฟล์ที่กระจัดกระจายจะใช้พื้นที่จัดเก็บข้อมูลเอาต์พุตอย่างน้อย 1 บล็อกโดยที่บล็อกอินพุตมีบิตใด ๆ ที่ไม่ใช่ศูนย์ ตัวอย่างเช่น - สมมติว่าคุณมีไฟล์ที่มีค่าเฉลี่ย 1 บิตที่ไม่เป็นศูนย์ต่อบล็อก 512 ไบต์ - มันไม่สามารถเขียนได้ "กระจัดกระจาย" คุณจะไม่สูญเสียข้อมูลถ้าคุณบีบอัดไฟล์ด้วย zip, bzip, bzip2 หรือ p7zip พวกเขาไม่ชอบการบีบอัด mpeg หรือ jpeg ที่สูญเสีย

ในทางกลับกันถ้าคุณต้องการค้นหาการสุ่มอ่านไฟล์จากนั้นการบีบอัดอาจมีปัญหามากกว่าความคุ้มค่าและคุณกลับไปที่การเขียนแบบเบาบาง โปรแกรมเมอร์ C หรือ C ++ ที่มีความสามารถควรเขียนสิ่งที่ต้องการในเวลาไม่กี่ชั่วโมง