ความสามารถในการปรับขนาดของ 'sort -u' สำหรับไฟล์ขนาดยักษ์

ขีดจำกัดความสามารถในการปรับขยายที่เหมาะสมของ 'sort -u' คืออะไร (ในมิติของ "ความยาวบรรทัด", "จำนวนบรรทัด", "ขนาดไฟล์ทั้งหมด"?)

อะไรคือทางเลือกของ Unix สำหรับไฟล์ที่เกินขนาดนี้ในมิติของ "จำนวนบรรทัด"? (แน่นอนว่าฉันสามารถใช้งานได้อย่างง่ายดาย แต่ฉันสงสัยว่ามีบางสิ่งที่สามารถทำได้ด้วยคำสั่ง Linux มาตรฐานจำนวนน้อยไหม?)

sortที่คุณพบบนลินุกซ์มาจากcoreutilsแพคเกจและการดำเนินการผสานภายนอก R-Way มันแยกข้อมูลออกเป็นส่วน ๆ ที่สามารถจัดการในหน่วยความจำเก็บไว้ในแผ่นดิสก์แล้วผสานเข้าด้วยกัน ชิ้นจะทำในแบบคู่ขนานหากเครื่องมีหน่วยประมวลผลสำหรับสิ่งนั้น

ดังนั้นหากมีข้อ จำกัด มันเป็นพื้นที่ว่างในดิสก์ที่sortสามารถใช้ในการจัดเก็บไฟล์ชั่วคราวที่จะต้องผสานรวมกับผลลัพธ์

ฉันไม่สามารถพูดถึงการใช้งานเฉพาะของผู้จัดจำหน่าย แต่การUNIX sortใช้งานแยกไฟล์ขนาดใหญ่เป็นไฟล์ขนาดเล็กเรียงลำดับไฟล์เหล่านี้แล้วรวมไฟล์ที่มีขนาดเล็กที่เรียงลำดับแล้วลงในเอาต์พุตที่เรียงลำดับแบบรวม

ข้อ จำกัด เพียงพื้นที่ดิสก์สำหรับไฟล์ขนาดเล็กที่สร้างขึ้นโดย intermediately แต่ไฟล์ที่สามารถเปลี่ยนเส้นทางไปยังไดเรกทอรีโดยพลการโดยการตั้งค่าตัวแปรสภาพแวดล้อมsortTMPDIR

อ้างอิงจากhttps://blog.mafr.de/2010/05/23/sorting-large-files/และ/unix//a/88704/9689 :

split -n l/20 input input-
for inpf in input-* ; do
    sort --parallel="$(nproc --all)" "${inpf}" > sorted-"{$inpf}"
done
sort -m sorted-input-* > sorted-input

ปรับปรุง:

จากคำตอบข้างต้นเราจะเห็นว่าsortมีอยู่แล้วไม่สิ่งที่กล่าวถึง snippet - คือการผสานภายนอก R-Way ดังนั้นหลังจากทั้งหมดทำงานเพียง:

sort --parallel="$(nproc --all)" -u input > output

ควรจะเพียงพอ

สมมติฐานปัจจุบันของฉัน (โดยไม่ตรวจสอบรหัส) เกี่ยวกับข้อ จำกัด คือ:

• ความยาวบรรทัดสูงสุดถูก จำกัด โดยจำนวนหน่วยความจำกายภาพ จัดเรียงต้องพอดีกับหน่วยความจำอย่างน้อยสองตัว
• จำนวนบรรทัด - ฉันไม่ทราบ
• ขนาดไฟล์ - แน่นอนโดยระบบไฟล์
• จำนวนไฟล์ที่เปิดในแบบขนาน - ขึ้นอยู่กับระบบปฏิบัติการ (ขอบคุณDiomidis Spinellisสำหรับการชี้นี้!)

(คำตอบนี้ถูกทำเครื่องหมายว่าเป็นวิกิของชุมชน - ขอให้คุณปรับปรุงให้ดีขึ้น :))