วิธีคัดลอกไฟล์ข้อมูลขนาดใหญ่ทีละบรรทัด?

ฉันมีCSVไฟล์35GB ฉันต้องการอ่านแต่ละบรรทัดและเขียนบรรทัดออกเป็น CSV ใหม่หากตรงกับเงื่อนไข

try (BufferedWriter writer = Files.newBufferedWriter(Paths.get("source.csv"))) {
    try (BufferedReader br = Files.newBufferedReader(Paths.get("target.csv"))) {
        br.lines().parallel()
            .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
            .forEach(line -> {
                writer.write(line + "\n");
        });
    }
}

สิ่งนี้ใช้เวลาประมาณ 7 นาที เป็นไปได้หรือไม่ที่จะเพิ่มความเร็วของกระบวนการนั้นให้มากขึ้น?

หากเป็นตัวเลือกคุณสามารถใช้ GZipInputStream / GZipOutputStream เพื่อลดขนาดดิสก์ I / O

Files.newBufferedReader / Writer ใช้ขนาดบัฟเฟอร์เริ่มต้น 8 KB ฉันเชื่อว่า คุณอาจลองบัฟเฟอร์ที่ใหญ่กว่านี้

การแปลงเป็นสตริง Unicode จะชะลอตัวลงเป็น (และใช้หน่วยความจำสองเท่า) UTF-8 ที่ใช้ไม่ง่ายเหมือน StandardCharsets ISOO_8859_1

จะดีที่สุดถ้าคุณสามารถทำงานกับไบต์เป็นส่วนใหญ่และเฉพาะสำหรับเขตข้อมูล CSV เฉพาะแปลงเป็นสตริง

ไฟล์ที่แมปหน่วยความจำอาจเหมาะสมที่สุด อาจใช้ Parallelism ในช่วงของไฟล์ทำให้ไฟล์แตกออกมา

try (FileChannel sourceChannel = new RandomAccessFile("source.csv","r").getChannel(); ...
MappedByteBuffer buf = sourceChannel.map(...);

สิ่งนี้จะกลายเป็นโค้ดจำนวนมากรับบรรทัดที่ถูกต้อง(byte)'\n'แต่ไม่ซับซ้อนเกินไป

คุณสามารถลองสิ่งนี้:

try (BufferedWriter writer = new BufferedWriter(new FileWriter(targetFile), 1024 * 1024 * 64)) {
  try (BufferedReader br = new BufferedReader(new FileReader(sourceFile), 1024 * 1024 * 64)) {

ฉันคิดว่ามันจะช่วยให้คุณประหยัดหนึ่งหรือสองนาที การทดสอบสามารถทำได้บนเครื่องของฉันในเวลาประมาณ 4 นาทีโดยการระบุขนาดบัฟเฟอร์

มันจะเร็วขึ้นไหม ลองนี้:

final char[] cbuf = new char[1024 * 1024 * 128];

try (Writer writer = new FileWriter(targetFile)) {
  try (Reader br = new FileReader(sourceFile)) {
    int cnt = 0;
    while ((cnt = br.read(cbuf)) > 0) {
      // add your code to process/split the buffer into lines.
      writer.write(cbuf, 0, cnt);
    }
  }
}

วิธีนี้จะช่วยให้คุณประหยัดได้สามหรือสี่นาที

หากยังไม่พอ (เหตุผลที่ฉันคิดว่าคุณถามคำถามอาจเป็นเพราะคุณต้องทำงานซ้ำ ๆ ) ถ้าคุณต้องการทำให้เสร็จในหนึ่งนาทีหรือแม้แต่สองสามวินาที จากนั้นคุณควรประมวลผลข้อมูลและบันทึกลงใน db จากนั้นประมวลผลงานโดยเซิร์ฟเวอร์หลายเครื่อง

ขอบคุณคำแนะนำทั้งหมดของคุณสิ่งที่ฉันได้รับเร็วที่สุดคือการแลกเปลี่ยนนักเขียนด้วยBufferedOutputStreamซึ่งทำให้ดีขึ้นประมาณ 25%:

   try (BufferedReader reader = Files.newBufferedReader(Paths.get("sample.csv"))) {
        try (BufferedOutputStream writer = new BufferedOutputStream(Files.newOutputStream(Paths.get("target.csv")), 1024 * 16)) {
            reader.lines().parallel()
                    .filter(line -> StringUtils.isNotBlank(line)) //bit more complex in real world
                    .forEach(line -> {
                        writer.write((line + "\n").getBytes());
                    });
        }
    }

ยังคงBufferedReaderทำงานได้ดีกว่าBufferedInputStreamในกรณีของฉัน