วิธีที่เร็วที่สุดในการสร้างการตรวจสอบสำหรับไฟล์ขนาดใหญ่ใน C # คืออะไร

ฉันต้องซิงค์ไฟล์ขนาดใหญ่ในเครื่องบางเครื่อง ไฟล์สามารถมีขนาดสูงสุด 6GB การซิงค์จะดำเนินการด้วยตนเองทุกสองสามสัปดาห์ ฉันไม่สามารถนำชื่อไฟล์มาพิจารณาเพราะพวกเขาสามารถเปลี่ยนแปลงได้ตลอดเวลา

แผนของฉันคือสร้าง checksums บนพีซีปลายทางและบนพีซีต้นทางแล้วคัดลอกไฟล์ทั้งหมดที่มี checksum ซึ่งไม่ได้อยู่ในปลายทางไปยังปลายทางแล้ว ความพยายามครั้งแรกของฉันคือสิ่งนี้:

using System.IO;
using System.Security.Cryptography;

private static string GetChecksum(string file)
{
    using (FileStream stream = File.OpenRead(file))
    {
        SHA256Managed sha = new SHA256Managed();
        byte[] checksum = sha.ComputeHash(stream);
        return BitConverter.ToString(checksum).Replace("-", String.Empty);
    }
}

ปัญหาคือรันไทม์:
- ด้วย SHA256 พร้อมไฟล์ 1,6 GB -> 20 นาที
- ด้วย MD5 พร้อมไฟล์ 1,6 GB -> 6.15 นาที

มีวิธีที่ดีกว่า - เร็วกว่าในการรับเช็คซัม (หรืออาจใช้ฟังก์ชันแฮชที่ดีกว่า)

ปัญหาที่นี่คือที่SHA256Managedอ่าน 4096 ไบต์ในแต่ละครั้ง (สืบทอดมาจากFileStreamและแทนที่Read(byte[], int, int)เพื่อดูว่ามันอ่านจาก filestream) ซึ่งมีขนาดเล็กเกินไปบัฟเฟอร์สำหรับดิสก์ IO

สิ่งที่ความเร็วขึ้น (2 นาที hashing ไฟล์ 2 Gb ในเครื่องของฉันกับ SHA256 1 นาทีสำหรับ MD5) ห่อFileStreamในBufferedStreamและกำหนดขนาดของบัฟเฟอร์พอสมควรขนาด (ฉันพยายามกับ ~ 1 Mb บัฟเฟอร์):

// Not sure if BufferedStream should be wrapped in using block
using(var stream = new BufferedStream(File.OpenRead(filePath), 1200000))
{
    // The rest remains the same
}

อย่าตรวจสอบไฟล์ทั้งหมดสร้าง checksums ทุก ๆ 100mb หรือมากกว่านั้นดังนั้นไฟล์แต่ละไฟล์จึงมีชุดของ checksums

จากนั้นเมื่อเปรียบเทียบ checksums คุณสามารถหยุดเปรียบเทียบหลังจาก checksum ที่แตกต่างกันครั้งแรกออกไปก่อนและประหยัดคุณจากการประมวลผลไฟล์ทั้งหมด

มันจะยังคงใช้เวลาเต็มสำหรับไฟล์ที่เหมือนกัน

ตามที่ Anton Gogolev ตั้งข้อสังเกต FileStream อ่าน 4096 ไบต์ในแต่ละครั้งโดยค่าเริ่มต้น แต่คุณสามารถระบุค่าอื่น ๆ โดยใช้ตัวสร้าง FileStream:

new FileStream(file, FileMode.Open, FileAccess.Read, FileShare.ReadWrite, 16 * 1024 * 1024)

โปรดทราบว่า Brad Abrams จาก Microsoft เขียนในปี 2004:

ไม่มีประโยชน์จากการตัด BufferedStream รอบ ๆ FileStream เราคัดลอกตรรกะการบัฟเฟอร์ของ BufferedStream ไปที่ FileStream เมื่อประมาณ 4 ปีที่แล้วเพื่อส่งเสริมประสิทธิภาพการเริ่มต้นที่ดีขึ้น

แหล่ง

เรียกหน้าต่างท่าเรือmd5sum.exe เร็วกว่าการใช้. NET ประมาณสองเท่า (อย่างน้อยในเครื่องของฉันที่ใช้ไฟล์ 1.2 GB)

public static string Md5SumByProcess(string file) {
    var p = new Process ();
    p.StartInfo.FileName = "md5sum.exe";
    p.StartInfo.Arguments = file;            
    p.StartInfo.UseShellExecute = false;
    p.StartInfo.RedirectStandardOutput = true;
    p.Start();
    p.WaitForExit();           
    string output = p.StandardOutput.ReadToEnd();
    return output.Split(' ')[0].Substring(1).ToUpper ();
}

โอเค - ขอบคุณพวกคุณทุกคน - ขอผมสรุป:

1. ใช้ exe "ดั้งเดิม"เพื่อทำ hashing ใช้เวลาตั้งแต่ 6 นาทีถึง 10 วินาทีซึ่งมีขนาดใหญ่มาก
2. การเพิ่มบัฟเฟอร์เร็วยิ่งขึ้น - ไฟล์ 1.6GB ใช้เวลา 5.2 วินาทีโดยใช้ MD5 ใน. Net ดังนั้นฉันจะไปด้วยวิธีนี้ - ขอบคุณอีกครั้ง

ฉันทำการทดสอบด้วยขนาดบัฟเฟอร์โดยใช้รหัสนี้

using (var stream = new BufferedStream(File.OpenRead(file), bufferSize))
{
    SHA256Managed sha = new SHA256Managed();
    byte[] checksum = sha.ComputeHash(stream);
    return BitConverter.ToString(checksum).Replace("-", String.Empty).ToLower();
}

และฉันทดสอบด้วยไฟล์ขนาด29½ GB ผลที่ได้คือ

• 10.000: 369,24 วินาที
• 100,000: 362,55 วินาที
• 1.000.000: 361,53 วินาที
• 10.000.000: 434,15 วินาที
• 100.000.000: 435,15 วินาที
• 1.000.000.000: 434,31 วินาที
• และ 376,22s เมื่อใช้รหัสต้นฉบับไม่มีบัฟเฟอร์

ฉันใช้ซีพียู i5 2500K, ram 12 GB และไดรฟ์ OCZ Vertex 4 256 GB SSD

ดังนั้นฉันจึงคิดว่าฮาร์ดไดรฟ์ 2TB มาตรฐานเกี่ยวกับอะไร และผลลัพธ์ก็เป็นเช่นนี้

• 10.000: 368,52 วินาที
• 100,000: 364,15 วินาที
• 1.000.000: 363,06 วินาที
• 10.000.000: 678,96s
• 100.000.000: 617,89s
• 1.000.000.000: 626,86s
• และสำหรับไม่มีบัฟเฟอร์ 368,24

ดังนั้นฉันจะแนะนำไม่บัฟเฟอร์หรือบัฟเฟอร์สูงสุด 1 mill

คุณกำลังทำอะไรผิดพลาด (อาจเป็นบัฟเฟอร์การอ่านที่เล็กเกินไป) ในเครื่องที่มีอายุไม่เกินเกณฑ์ (Athlon 2x1800MP จากปี 2002) ที่มี DMA บนดิสก์อาจจะไม่ตี (6.6M / s ช้ามากเมื่อทำการอ่านตามลำดับ):

สร้างไฟล์ 1G ด้วยข้อมูล "สุ่ม":

# dd if=/dev/sdb of=temp.dat bs=1M count=1024    
1073741824 bytes (1.1 GB) copied, 161.698 s, 6.6 MB/s

# time sha1sum -b temp.dat
abb88a0081f5db999d0701de2117d2cb21d192a2 *temp.dat

1m5.299s

# time md5sum -b temp.dat
9995e1c1a704f9c1eb6ca11e7ecb7276 *temp.dat

1m58.832s

นี่เป็นสิ่งที่แปลก md5 ช้ากว่า sha1 อย่างสม่ำเสมอสำหรับฉัน (รันหลายครั้ง)

ฉันรู้ว่าฉันมาสาย แต่ได้ทำการทดสอบก่อนที่จะใช้โซลูชัน

ฉันไม่ดำเนินการทดสอบกับ inbuilt ระดับ MD5 และmd5sum.exe ในกรณีของฉันคลาส inbuilt ใช้เวลา 13 วินาทีที่ md5sum.exe เกินไปประมาณ 16-18 วินาทีในการทำงานทุกครั้ง

    DateTime current = DateTime.Now;
    string file = @"C:\text.iso";//It's 2.5 Gb file
    string output;
    using (var md5 = MD5.Create())
    {
        using (var stream = File.OpenRead(file))
        {
            byte[] checksum = md5.ComputeHash(stream);
            output = BitConverter.ToString(checksum).Replace("-", String.Empty).ToLower();
            Console.WriteLine("Total seconds : " + (DateTime.Now - current).TotalSeconds.ToString() + " " + output);
        }
    }

คุณสามารถดู XxHash.Net ( https://github.com/wilhelmliao/xxHash.NET )
alxory xxHash ดูเหมือนว่าจะเร็วกว่าที่อื่น
เกณฑ์มาตรฐานบางอย่างในไซต์ xxHash: https://github.com/Cyan4973/xxHash

PS: ฉันยังไม่ได้ใช้