คำอธิบายปัญหา

ฉันกำลังจัดเก็บอิมเมจดิสก์ windows ที่สร้างด้วย wbadmin บนไดรฟ์ NTFS และฉันพบว่าการบีบอัดด้วยการบีบอัด NTFS จะช่วยให้ประหยัดพื้นที่ได้ 1.5-2 ×เท่า แต่ยังคงความพร้อมเต็มที่สำหรับการกู้คืน

แต่ในขั้นตอนการบีบอัดไฟล์จะได้รับการแยกส่วนอย่างเมามันโดยปกติจะสูงกว่า 100'000 แฟรกเมนต์สำหรับอิมเมจของระบบ

การแตกแฟรกเมนต์จะใช้เวลานานมาก (หลายชั่วโมงต่อภาพ) ผู้จัดเรียงข้อมูลบางคนถึงกับจัดการไม่ได้พวกเขาเพียงแค่ข้ามไฟล์หรือเกิดข้อผิดพลาด

แหล่งที่มาของปัญหาคือฉันคิดว่าไฟล์นั้นถูกบีบอัดโดยกลุ่มข้อมูลที่ได้รับการบันทึกแยกต่างหาก

คำถาม

มีวิธีที่ดี (เร็ว) ในการจัดระเบียบไฟล์ภาพ แต่ให้บีบอัด (หรือบีบอัดโดยไม่ทำให้เกิดการแตกแฟรกเมนต์) อาจเป็นยูทิลิตี้บางอย่างในการจัดเรียงข้อมูลไฟล์อย่างรวดเร็วไปยังพื้นที่ว่างอย่างต่อเนื่องหรือยูทิลิตี้ (หรือวิธีการ) เพื่อสร้างไฟล์บีบอัดที่ไม่มีการแยกส่วนจากไฟล์ที่ไม่มีการบีบอัดที่มีอยู่

ข้อสังเกตจากความเห็น / คำตอบ:

1. เครื่องมือการบีบอัดภายนอก (ไปยังเคอร์เนล windows) ไม่ใช่ตัวเลือกในกรณีของฉัน พวกเขาไม่สามารถขยายไฟล์ได้ทันที (เพื่อขยายไฟล์ 10 Gb ฉันต้องการฟรี 10 Gb ซึ่งไม่ได้อยู่ที่มือเสมอไปและใช้เวลานาน); พวกเขาไม่สามารถเข้าถึงได้เมื่อระบบบูตจาก DVD สำหรับการกู้คืน (มันแน่นอนเมื่อฉันต้องการภาพที่มีอยู่) โปรดหยุดนำเสนอพวกเขาจนกว่าพวกเขาจะสร้างไฟล์บีบอัด transaprently บน NTFS compact.exeเช่น
2. การบีบอัด NTFS นั้นไม่ดีสำหรับอิมเมจระบบ มันค่อนข้างดียกเว้นการแยกส่วน และการคลายการบีบอัดไม่ใช้เวลา CPU มากนักยังคงลดปัญหาคอขวด IO ซึ่งช่วยเพิ่มประสิทธิภาพในกรณีที่เหมาะสม (ไฟล์บีบอัดที่ไม่มีการแยกส่วนที่มีอัตราส่วนสำคัญ)
3. การจัดเรียงข้อมูลยูทิลิตี้ไฟล์จัดระเบียบโดยไม่คำนึงถึงว่าพวกเขาจะถูกบีบอัด ปัญหาเดียวคือจำนวนของแฟรกเมนต์ซึ่งทำให้การจัดเรียงข้อมูลล้มเหลวไม่ว่าไฟล์ที่แตกแฟรกเมนต์จะถูกบีบอัดหรือไม่ก็ตาม หากจำนวนแฟรกเมนต์ไม่สูง (ประมาณ 10,000 เรียบร้อยแล้ว) ไฟล์บีบอัดจะถูกจัดระเบียบและคงการบีบอัดและไม่เปลี่ยนแปลง

4. อัตราส่วนการบีบอัดของ NTFS อาจดีขึ้นอยู่กับไฟล์ อิมเมจของระบบมักจะถูกบีบอัดให้มีขนาดไม่เกิน 70% ของขนาดดั้งเดิม

   ภาพหน้าจอคู่สำหรับผู้ที่ไม่เชื่อ แต่ ofc คุณสามารถทำการทดสอบของคุณเอง

5. จริง ๆ แล้วฉันทำการกู้คืนจากรูปภาพที่ถูกบีบอัดแบบ NTFS ทั้งแบบแยกส่วนและไม่แยกส่วนทำงานได้โปรดเชื่อใจฉันหรือตรวจสอบด้วยตัวคุณเอง rem: อย่างที่ฉันพบเมื่อประมาณปีที่แล้วมันไม่ทำงานใน Windows 8.1 มันทำงานได้ใน Windows 7, 8 และ 10

คำตอบที่คาดหวัง:

วิธีการทำงานหรือโปรแกรมสำหรับ Windows เพื่อ:

1. ไฟล์บีบอัด (มีการบีบอัด NTFS และให้สามารถเข้าถึง Windows Recovery) โดยไม่ต้องสร้างจำนวนมากเศษ (ที่อาจจะยังพาร์ติชันอื่นหรือทำสำเนาบีบอัดมันต้องมีอย่างน้อย 3 เท่าได้เร็วขึ้นใน HDD กว่าcompact+ defrag)

   หรือ

2. เพื่อรวดเร็ว (อย่างน้อย 3 เท่าเร็วกว่าการจัดเรียงข้อมูลบน Windows บนฮาร์ดไดรฟ์) การจัดเรียงข้อมูลแบบแยกส่วนอย่างทำลายล้างเช่นเดียวกับที่มี 100K + แฟรกเมนต์

หลีกเลี่ยงการแยกส่วน

ความลับคือการไม่เขียนไฟล์ที่ไม่มีการบีบอัดลงบนดิสก์เพื่อเริ่มต้นด้วย

แน่นอนหลังจากที่คุณบีบอัดไฟล์ขนาดใหญ่ที่มีอยู่แล้วมันจะกลายเป็นส่วนย่อยที่น่ากลัวเนื่องจากลักษณะของอัลกอริทึมการบีบอัดแบบ NTFS แบบแทนที่

แต่คุณสามารถหลีกเลี่ยงข้อเสียนี้ได้โดยการทำให้ระบบปฏิบัติการบีบอัดเนื้อหาของไฟล์แบบทันทีก่อนที่จะเขียนลงในดิสก์ วิธีนี้ไฟล์บีบอัดจะถูกเขียนลงดิสก์เป็นไฟล์ปกติโดยไม่มีช่องว่างโดยไม่ได้ตั้งใจ เพื่อจุดประสงค์นี้คุณต้องสร้างโฟลเดอร์ที่บีบอัด (เช่นเดียวกับที่คุณทำเครื่องหมายไฟล์ที่จะบีบอัดคุณสามารถทำเครื่องหมายโฟลเดอร์ที่จะบีบอัด) หลังจากนั้นไฟล์ทั้งหมดที่เขียนไปยังโฟลเดอร์นั้นจะถูกบีบอัดอย่างรวดเร็ว (เช่นเขียนเป็นสตรีมของบล็อกที่บีบอัด) ไฟล์ที่ถูกบีบอัดด้วยวิธีนี้ยังคงสามารถแยกส่วนได้บ้าง แต่มันจะเป็นหนทางไกลจากความยุ่งเหยิงที่การบีบอัด NTFS แบบแทนที่

ตัวอย่าง

NTFS บีบอัดอิมเมจระบบ232 Mb เป็น125 Mb:

• การบีบอัดแบบแทนที่ทำให้ชิ้นส่วนใหญ่ถึง2,680ชิ้น!
• การบีบอัดข้อมูลแบบทันทีที่สร้างสร้าง19แฟรกเมนต์

การจัดเรียงข้อมูล

เป็นความจริงที่ไฟล์บีบอัดของ NTFS สามารถสร้างปัญหาให้กับเครื่องมือการจัดเรียงข้อมูลบางอย่าง ตัวอย่างเช่นเครื่องมือที่ฉันใช้ตามปกติไม่สามารถจัดการกับมันได้อย่างมีประสิทธิภาพ - มันช้าลงไปเป็นการรวบรวมข้อมูล ไม่ต้องกังวล Contig ที่เชื่อถือได้เก่าจากSysinternalsทำหน้าที่จัดเรียงข้อมูลไฟล์ที่ถูกบีบอัดของ NTFS อย่างรวดเร็วและง่ายดาย!

อ่านบทความเกี่ยวกับ Wikipedia เกี่ยวกับการบีบอัด NTFS :

ไฟล์ถูกบีบอัดในกลุ่ม 16 คลัสเตอร์ ด้วยกลุ่ม 4 kB ไฟล์จะถูกบีบอัดในกลุ่มขนาด 64 kB หากการบีบอัดลดข้อมูล 64 kB เป็น 60 kB หรือน้อยกว่านั้น NTFS จะใช้หน้าเว็บที่ไม่จำเป็น 4 kB เช่นกลุ่มไฟล์กระจัดกระจายที่ว่างเปล่าซึ่งไม่ได้เขียนไว้

สิ่งนี้ช่วยให้เวลาในการเข้าถึงแบบสุ่มที่สมเหตุสมผล - ระบบปฏิบัติการจำเป็นต้องติดตามเศษชิ้นส่วน

อย่างไรก็ตามไฟล์บีบอัดขนาดใหญ่มีการแยกส่วนอย่างมากเนื่องจากทุก ๆ <64KB กลายเป็นส่วนย่อย

สิ่งแรกสิ่งแรก WBAdminอยู่ในสาระสำคัญอรรถประโยชน์การสำรองข้อมูลที่เรียกคืนระบบเต็มรูปแบบ ดังนั้นจึงคาดว่าไฟล์เอาต์พุตจะมีขนาดใหญ่ (> 4 Gb) ดังที่แสดงไว้ในเครื่องหมายคำพูดไฟล์ขนาดใหญ่มีการแยกส่วนอย่างรวดเร็ว นี่เป็นเพราะวิธีการบีบอัดของ NTFS: ไม่ใช่ตามไฟล์ แต่แบ่งตามเซกเตอร์

การเปรียบเทียบที่ดีคือเค้กที่ถูกแบ่งออกเป็นหลายกล่องซึ่งบางส่วนไม่ได้ว่างเปล่า นี่คือไฟล์เริ่มต้น ส่วนการบีบบีบชิ้นเค้กออกจากช่องว่างในกล่อง เนื่องจากชิ้นส่วนของเค้กไม่ได้อยู่ด้วยกันเนื่องจากพื้นที่ที่สร้างขึ้นชิ้นส่วนที่ประกอบขึ้นเป็นชิ้นส่วนของเค้ก

ฉันยังสงสัยเกี่ยวกับ NTFS ที่ให้อัตราการบีบอัดแบบนั้น ตามการทดสอบที่ทำโดยMaximumCompressionในหลาย ๆ ไฟล์ NTFS ได้คะแนนต่ำที่สุดในอัตราส่วนการบีบอัด จากประสบการณ์ส่วนตัวฉันสามารถบอกคุณได้ว่ามันต่ำกว่านั้นจริงๆแล้วต่ำมากจนฉันไม่เคยใส่ใจที่จะใช้มันและไม่เคยเห็นว่ามันมีผลกระทบ

วิธีที่ดีที่สุดในการหลีกเลี่ยงการแตกแฟรกเมนต์คือหยุดพึ่งพา NTFS ตัวจัดเรียงส่วนใหญ่จะไม่สามารถขยายหรือย้ายไฟล์บีบอัดได้ ถ้าอย่างใดพวกเขาทำอย่างนั้น NTFS ไม่สามารถขยายไฟล์หรือถ้าเขาทำได้เนื่องจากกระบวนการจัดเรียงข้อมูลจะเติมเต็มพื้นที่ที่เหลือจากการบีบอัด (4kB) การขยายจะแยกส่วนไฟล์เนื่องจากไฟล์จะไม่ เขียนในกลุ่มที่ต่อเนื่องกันมาก่อน

สิ่งนี้ถูกกล่าวถึงและหากคุณไม่จำเป็นต้องอ่านไฟล์อย่างต่อเนื่องให้ใช้รูปแบบที่แนะนำในลิงค์ด้านบน 7z และ rar ค่อนข้างมีประสิทธิภาพ (เช่นบีบอัดด้วยอัตราส่วนที่สูงในเวลาที่เหมาะสม) หากคุณสนใจที่ว่างและไม่ใช่เวลาให้เลือกอัลกอริธึมชนิด PAQ (แม้ว่าคุณจะใช้เวลานานในการบีบอัดและคลายไฟล์) นอกจากนี้ยังมีอัลกอริทึมที่รวดเร็ว

หากคุณจำเป็นต้องอ่านไฟล์อย่างต่อเนื่องอย่าบีบอัดไฟล์เลย NTFS ยุ่งเหยิงเกินไป

แม้ว่าจะไม่ตรงกับที่ OP ขอฉันมีประสบการณ์ที่ดีกับซอฟต์แวร์บุคคลที่สามชื่อ Paragon NTFS ตามคำนิยามจะทำให้ระบบไฟล์ของคุณบางสิ่งบางอย่างน่ากลัวเมื่อคุณบีบอัดไฟล์ (หรือบางครั้งแม้แต่เขียน) สิ่งนี้ขยายไปถึงการบริโภครายการ MFT หลายรายการและ ... มันไม่ดี ไดรเวอร์ NTFS ของ Microsoft ไม่ได้ล้างข้อมูลนี้เมื่อไฟล์มีการจัดเรียงข้อมูล ดังนั้นจำเป็นต้องใช้เครื่องมือของบุคคลที่สาม Paragon ช่วยให้คุณสามารถบูตมันเป็นระบบปฏิบัติการในตัวเอง (อิมเมจ ISO) หรือติดตั้งในระบบปฏิบัติการ Windows อื่นด้วยการเข้าถึงระบบไฟล์เป้าหมาย จากนั้นคุณสามารถจัดเรียงข้อมูลทั้ง MFT และไฟล์ นี่คือความรู้ของฉันเป็นวิธีเดียวที่จะแก้ไขข้อบกพร่องนี้ในระบบไฟล์ NTFS ซึ่งขาดการฟอร์แมตโวลุ่มใหม่

(ฉันไม่มีความสัมพันธ์กับเครื่องมือหรือผู้สร้างมันนอกจากสิ่งเดียวที่ฉันพบว่าใช้งานได้จริง)

วันนี้ 2 ปีหลังจากคำถามที่ถูกถามดูเหมือนว่าฉันอยากจะแนะนำการขจัดข้อมูลซ้ำซ้อน - ซึ่งจะช่วยให้คุณประหยัดเงินได้มากกว่า 90% หากรูปภาพต่างกันเพียงเล็กน้อย W2016 Nano Server ภายใน VM ใช้งานได้ดี แต่ฉันคิดว่าแม้กระทั่ง FreeNAS หรืออะไรก็ตามที่ใช้ ZFS สามารถจัดการได้

เมื่อเร็ว ๆ นี้ Windows ได้รับการดูแลไฟล์ ZIP เช่นโฟลเดอร์ ไฟล์ ZIP สามารถบีบอัดได้มากกว่าไฟล์ที่ถูกบีบอัดแบบ NTFS และไม่ได้แยกส่วนโดยเนื้อแท้ซึ่งแตกต่างจาก NTFS

ทำไมไม่ทดสอบหนึ่งในอิมเมจของดิสก์โดยบีบอัดด้วย 7-zip ในรูปแบบ ZIP และดูว่าสามารถกู้คืนได้โดยตรงหรือไม่?

ถ้าไม่เล่นกับพารามิเตอร์การบีบอัด 7-zip เพื่อเพิ่มการบีบอัดให้สูงสุดโดยใช้รูปแบบใดก็ได้ที่ดีที่สุดเช่น 7z คุณสามารถเพิ่มการบีบอัดได้ไกลเกินกว่า NTFS และทำให้มีพื้นที่มากขึ้นบนดิสก์ของคุณ - แม้ว่าจะเป็นการขยายที่เร็วที่สุดในการขยายขนาดไปยังดิสก์ทางกายภาพหรือ RAM ตัวที่ 2 โดยเฉพาะอย่างยิ่งบนสายคอนโทรลเลอร์และ IO อื่น

FWIW, การบีบอัดจ่ายสำหรับ SSD ที่ไม่ใช่แซนด์แมนสำหรับดิสก์ระบบ & สำหรับไฟล์ที่ไม่ใช่สื่อ - การสึกหรอน้อยลงบน SSD, พื้นที่ว่างมากขึ้นและ I / O ที่เร็วขึ้นสำหรับไฟล์ที่ไม่บีบอัด ดูhttp://www.tomshardware.com/reviews/ssd-ntfs-compression,3073-9.html

วิดีโอกราฟิกและไฟล์ข้อมูลที่บีบอัดอื่น ๆ (เช่น. XLSX) ได้รับการบีบอัดแล้วดังนั้นจึงไม่มีประโยชน์ในการบีบอัด NTFS ที่นั่น หรือสำหรับฐานข้อมูลหรือเมล Outlook ด้วยการอัพเดทแบบสุ่ม แต่ไฟล์ที่เรียกทำงานได้, txt, html ฯลฯ จะได้รับประโยชน์อย่างมาก

การบีบอัดข้อมูลยังเป็นประโยชน์อย่างยิ่งสำหรับไฟล์ขนาดเล็กเช่นหากบีบอัด <64K เพียงส่วนเดียว ความยุ่งยากจะเป็นการกู้คืนหากมีปัญหาเกี่ยวกับดิสก์