คำถามติดแท็ก large-files

ตามที่เป็นอยู่ในปัจจุบันคำถามนี้ไม่เหมาะสำหรับรูปแบบคำถาม & คำตอบของเรา เราคาดหวังคำตอบที่จะได้รับการสนับสนุนจากข้อเท็จจริงการอ้างอิงหรือความเชี่ยวชาญ แต่คำถามนี้อาจเรียกร้องให้มีการอภิปรายโต้แย้งโต้แย้งหรือการอภิปรายเพิ่มเติม หากคุณรู้สึกว่าคำถามนี้สามารถปรับปรุงและเปิดใหม่ได้โปรดไปที่ศูนย์ช่วยเหลือเพื่อขอคำแนะนำ ปิดให้บริการใน8 ปีที่ผ่านมา คำตอบของคำถามนี้เป็นความพยายามของชุมชน แก้ไขคำตอบที่มีอยู่เพื่อปรับปรุงโพสต์นี้ ขณะนี้ไม่ยอมรับคำตอบหรือการโต้ตอบใหม่ ฉันหมายถึง 100+ MB ใหญ่; ไฟล์ข้อความดังกล่าวสามารถผลักซองจดหมายของบรรณาธิการ ฉันต้องการตรวจสอบไฟล์ XML ขนาดใหญ่ แต่ไม่สามารถแก้ไขได้หากตัวแก้ไขข้อผิดพลาด ข้อเสนอแนะใด ๆ

1023 windows  xml  editor  text-editor  large-files 

ฉันกำลังมองหาความคิดเห็นเกี่ยวกับวิธีจัดการกับไฟล์ไบนารีขนาดใหญ่ซึ่งซอร์สโค้ดของฉัน (เว็บแอพพลิเคชัน) ขึ้นอยู่กับ ขณะนี้เรากำลังพูดถึงทางเลือกหลายทาง: คัดลอกไฟล์ไบนารีด้วยมือ Pro: ไม่แน่ใจ Contra: ฉันต่อต้านสิ่งนี้อย่างมากเนื่องจากจะเพิ่มโอกาสเกิดข้อผิดพลาดเมื่อตั้งค่าไซต์ใหม่ / ย้ายข้อมูลเก่า สร้างอุปสรรค์อื่นที่จะใช้ จัดการกับพวกเขาทั้งหมดที่มีGit Pro: ลบความเป็นไปได้ที่จะ 'ลืม' เพื่อคัดลอกไฟล์สำคัญ Contra: ขยายพื้นที่เก็บข้อมูลและลดความยืดหยุ่นในการจัดการรหัสฐานและชำระเงินโคลน ฯลฯ จะใช้เวลาสักครู่ แยกที่เก็บ Pro: การตรวจสอบ / การโคลนรหัสที่มานั้นรวดเร็วและภาพนั้นถูกเก็บถาวรอย่างถูกต้องในพื้นที่เก็บข้อมูลของตัวเอง Contra: ลบความเรียบง่ายของการมีที่เก็บ Git หนึ่งเดียวในโครงการ มันแนะนำสิ่งอื่น ๆ ที่ฉันไม่ได้คิด คุณมีประสบการณ์ / ความคิดเกี่ยวกับเรื่องนี้อย่างไร นอกจากนี้: ไม่มีใครมีประสบการณ์กับที่เก็บ Git หลายแห่งและจัดการกับพวกเขาในโครงการเดียวหรือไม่? ไฟล์เป็นรูปภาพสำหรับโปรแกรมที่สร้าง PDF พร้อมไฟล์เหล่านั้น ไฟล์จะไม่เปลี่ยนแปลงบ่อยนัก (เหมือนในปีที่ผ่านมา) แต่ไฟล์เหล่านี้เกี่ยวข้องกับโปรแกรมมาก โปรแกรมจะไม่ทำงานหากไม่มีไฟล์

523 git  version-control  large-files  binaryfiles 

ฉันใช้เวลาส่วนที่ดีที่สุดของ "faffing" สองวันเกี่ยวกับตัวอย่างโค้ดและอื่น ๆ พยายามอ่านไฟล์ JSON ที่มีขนาดใหญ่มากเป็นอาเรย์ใน c # ดังนั้นฉันจึงสามารถแยกมันออกเป็นอาเรย์ 2d ในภายหลังได้ ปัญหาที่ฉันพบคือฉันไม่สามารถหาตัวอย่างของคนที่ทำในสิ่งที่ฉันพยายามจะทำ นี่หมายความว่าฉันแค่แก้ไขโค้ดให้ดีที่สุด ฉันจัดการเพื่อให้ได้งานที่จะ: อ่านไฟล์ Miss out header และอ่านค่าในอาเรย์เท่านั้น วางจำนวนที่แน่นอนของค่าในแต่ละบรรทัดของอาร์เรย์ (ดังนั้นฉันสามารถแยกมันใส่ในอาร์เรย์ 2d ในภายหลัง) สิ่งนี้ทำด้วยรหัสด้านล่าง แต่มันขัดข้องของโปรแกรมหลังจากป้อนสองสามบรรทัดลงในอาร์เรย์ สิ่งนี้อาจเกี่ยวข้องกับขนาดไฟล์ // If the file extension was a jave file the following // load method will be use else it will move on to …

239 c#  json  parsing  large-files 

ฉันใช้ไฟล์ข้อมูลขนาดใหญ่บางครั้งฉันจำเป็นต้องรู้จำนวนบรรทัดในไฟล์เหล่านี้เท่านั้นโดยปกติฉันจะเปิดอ่านแล้วอ่านทีละบรรทัดจนกว่าจะถึงจุดสิ้นสุดไฟล์ ฉันสงสัยว่ามีวิธีที่ชาญฉลาดกว่านี้หรือไม่

213 java  large-files  line-numbers 

ฉันต้องซิงค์ไฟล์ขนาดใหญ่ในเครื่องบางเครื่อง ไฟล์สามารถมีขนาดสูงสุด 6GB การซิงค์จะดำเนินการด้วยตนเองทุกสองสามสัปดาห์ ฉันไม่สามารถนำชื่อไฟล์มาพิจารณาเพราะพวกเขาสามารถเปลี่ยนแปลงได้ตลอดเวลา แผนของฉันคือสร้าง checksums บนพีซีปลายทางและบนพีซีต้นทางแล้วคัดลอกไฟล์ทั้งหมดที่มี checksum ซึ่งไม่ได้อยู่ในปลายทางไปยังปลายทางแล้ว ความพยายามครั้งแรกของฉันคือสิ่งนี้: using System.IO; using System.Security.Cryptography; private static string GetChecksum(string file) { using (FileStream stream = File.OpenRead(file)) { SHA256Managed sha = new SHA256Managed(); byte[] checksum = sha.ComputeHash(stream); return BitConverter.ToString(checksum).Replace("-", String.Empty); } } ปัญหาคือรันไทม์: - ด้วย SHA256 พร้อมไฟล์ 1,6 GB -> 20 …

128 c#  .net  large-files  checksum 

ฉันพยายามเปิดไฟล์ขนาดใหญ่ (~ 2GB) ใน VIM แต่มันสำลัก ฉันไม่จำเป็นต้องแก้ไขไฟล์จริงๆแค่ข้ามไปอย่างมีประสิทธิภาพ ฉันจะทำงานกับไฟล์ขนาดใหญ่มากใน VIM ได้อย่างไร

108 vim  large-files 

เราเพิ่งเริ่มคลาส UNIX และกำลังเรียนรู้คำสั่ง Bash ที่หลากหลาย งานของเราเกี่ยวข้องกับการดำเนินการคำสั่งต่างๆในไดเร็กทอรีที่มีโฟลเดอร์จำนวนมากอยู่ข้างใต้เช่นกัน ฉันรู้วิธีแสดงรายการและนับไฟล์ปกติทั้งหมดจากโฟลเดอร์รูทโดยใช้: find . -type l | wc -l แต่ฉันต้องการทราบว่าจะไปจากที่ใดเพื่อค้นหาไฟล์ที่ใหญ่ที่สุดในไดเรกทอรีทั้งหมด ฉันเคยเห็นบางอย่างเกี่ยวกับduคำสั่ง แต่เราไม่ได้เรียนรู้สิ่งนั้นดังนั้นในสิ่งที่เราได้เรียนรู้ฉันคิดว่าเราจำเป็นต้องเชื่อมต่อกับls -tคำสั่งอย่างใด และยกโทษให้ฉันถ้า 'ศัพท์แสง' ของฉันไม่ถูกต้องฉันก็ยังชินอยู่ดี!

102 file  bash  directory  find  large-files 

ฉันมีงานที่น่ารักในการหาวิธีจัดการไฟล์ขนาดใหญ่ที่โหลดลงในโปรแกรมแก้ไขสคริปต์ของแอปพลิเคชันของเรา (เหมือนกับVBAสำหรับผลิตภัณฑ์ภายในของเราสำหรับมาโครด่วน) ไฟล์ส่วนใหญ่มีขนาดประมาณ 300-400 KB ซึ่งโหลดได้ดี แต่เมื่อพวกเขาไปเกิน 100 MB กระบวนการนี้ก็มีช่วงเวลาที่ยากลำบาก (ตามที่คุณคาดหวัง) สิ่งที่เกิดขึ้นคือไฟล์ถูกอ่านและถูกส่งไปยัง RichTextBox ซึ่งจะถูกนำทางไป - อย่ากังวลกับส่วนนี้มากเกินไป นักพัฒนาที่เขียนโค้ดเริ่มต้นเพียงแค่ใช้ StreamReader และทำ [Reader].ReadToEnd() ซึ่งอาจใช้เวลาสักพักจึงจะเสร็จสมบูรณ์ งานของฉันคือทำลายโค้ดนี้ออกอ่านเป็นชิ้น ๆ เป็นบัฟเฟอร์และแสดงแถบความคืบหน้าพร้อมตัวเลือกในการยกเลิก สมมติฐานบางประการ: ไฟล์ส่วนใหญ่จะมีขนาด 30-40 MB เนื้อหาของไฟล์เป็นข้อความ (ไม่ใช่ไบนารี) บางส่วนเป็นรูปแบบ Unix บางส่วนเป็น DOS เมื่อดึงเนื้อหามาแล้วเราจะหาสิ่งที่ใช้เทอร์มิเนเตอร์ ไม่มีใครกังวลเมื่อโหลดเวลาที่ใช้ในการแสดงผลใน richtextbox มันเป็นเพียงการโหลดข้อความเริ่มต้น ตอนนี้สำหรับคำถาม: ฉันสามารถใช้ StreamReader จากนั้นตรวจสอบคุณสมบัติ Length (ดังนั้น ProgressMax) และออก Read สำหรับขนาดบัฟเฟอร์ที่ตั้งไว้และวนซ้ำในขณะที่วนซ้ำWHILSTภายในโปรแกรมทำงานเบื้องหลังดังนั้นจึงไม่บล็อกเธรด UI หลัก …

97 c#  .net  stream  streamreader  large-files