วิธีสุ่มตัวอย่างชุดย่อยของไฟล์

มีคำสั่ง Linux ใดบ้างที่สามารถใช้เพื่อตัวอย่างชุดย่อยของไฟล์? ตัวอย่างเช่นไฟล์มีหนึ่งล้านบรรทัดและเราต้องการสุ่มตัวอย่างเพียงหนึ่งพันบรรทัดจากไฟล์นั้น

สำหรับการสุ่มฉันหมายความว่าทุก ๆ เส้นมีความน่าจะเป็นเหมือนกันในการเลือกและไม่มีเส้นใดที่เลือกซ้ำ

headและtailสามารถเลือกไฟล์ย่อย แต่ไม่สุ่ม ฉันรู้ว่าฉันสามารถเขียนสคริปต์ python ได้ตลอดเวลา แต่สงสัยว่าจะมีคำสั่งสำหรับการใช้งานนี้หรือไม่

shufคำสั่ง (ส่วนหนึ่งของ coreutils) สามารถทำเช่นนี้:

shuf -n 1000 file

และอย่างน้อยสำหรับรุ่นที่ไม่ใช่ของโบราณในปัจจุบัน (เพิ่มในคอมมิชชันจาก 2013 ) ที่จะใช้การสุ่มตัวอย่างอ่างเก็บน้ำเมื่อเหมาะสมหมายความว่ามันไม่ควรมีหน่วยความจำไม่เพียงพอและใช้อัลกอริธึมที่รวดเร็ว

หากคุณมีไฟล์ที่มีขนาดใหญ่มาก (ซึ่งเป็นเหตุผลทั่วไปในการรับตัวอย่าง) คุณจะพบว่า:

1. shuf หน่วยความจำหมด
2. การใช้$RANDOMจะไม่ทำงานอย่างถูกต้องหากไฟล์เกิน 32767 บรรทัด

หากคุณไม่จำเป็นต้องใช้ "ตัวอย่าง" n บรรทัดตัวอย่างคุณสามารถลองอัตราส่วนดังนี้:

cat input.txt | awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01) print $0}' > sample.txt

วิธีนี้ใช้หน่วยความจำคงที่ตัวอย่าง 1% ของไฟล์ (หากคุณรู้จำนวนบรรทัดของไฟล์ที่คุณสามารถปรับปัจจัยนี้เพื่อสุ่มตัวอย่างใกล้เคียงกับจำนวนบรรทัดที่ จำกัด ) และทำงานกับไฟล์ทุกขนาดแต่จะไม่ส่งคืนจำนวนบรรทัดที่แม่นยำเพียงอัตราส่วนทางสถิติ

หมายเหตุ: รหัสนั้นมาจาก: https://stackoverflow.com/questions/692312/randomly-pick-lines-from-a-file-without-slurping-it-with-unix

คล้ายกับโซลูชันความน่าจะเป็นของ @ Txangel แต่ใกล้เร็วขึ้น 100 เท่า

perl -ne 'print if (rand() < .01)' huge_file.csv > sample.csv

หากคุณต้องการประสิทธิภาพสูงขนาดตัวอย่างที่แน่นอนและยินดีที่จะอยู่กับช่องว่างตัวอย่างที่ท้ายไฟล์คุณสามารถทำสิ่งต่อไปนี้ (ตัวอย่าง 1000 บรรทัดจากไฟล์บรรทัด 1 ม.):

perl -ne 'print if (rand() < .0012)' huge_file.csv | head -1000 > sample.csv

.. headหรือแน่นอนโซ่วิธีวินาทีตัวอย่างแทน

ในกรณีที่shuf -nเคล็ดลับในไฟล์ขนาดใหญ่หน่วยความจำไม่เพียงพอและคุณยังต้องการตัวอย่างขนาดคงที่และสามารถติดตั้งยูทิลิตี้ภายนอกจากนั้นลองตัวอย่าง :

$ sample -N 1000 < FILE_WITH_MILLIONS_OF_LINES 

ข้อแม้คือตัวอย่าง (1,000 บรรทัดในตัวอย่าง) ต้องพอดีกับหน่วยความจำ

ข้อจำกัดความรับผิดชอบ: ฉันเป็นผู้เขียนซอฟต์แวร์ที่แนะนำ

ไม่ทราบคำสั่งเดียวที่สามารถทำสิ่งที่คุณถาม แต่นี่คือวงฉันใส่กันซึ่งสามารถทำงาน:

for i in `seq 1000`; do sed -n `echo $RANDOM % 1000000 | bc`p alargefile.txt; done > sample.txt

sedจะรับสายสุ่มในแต่ละรอบ 1,000 อาจมีโซลูชั่นที่มีประสิทธิภาพมากกว่า

คุณสามารถบันทึกรหัสติดตามในไฟล์ (โดยตัวอย่าง randextract.sh) และดำเนินการดังนี้:

randextract.sh file.txt

---- เริ่มต้นไฟล์ ----

#!/bin/sh -xv

#configuration MAX_LINES is the number of lines to extract
MAX_LINES=10

#number of lines in the file (is a limit)
NUM_LINES=`wc -l $1 | cut -d' ' -f1`

#generate a random number
#in bash the variable $RANDOM returns diferent values on each call
if [ "$RANDOM." != "$RANDOM." ]
then
    #bigger number (0 to 3276732767)
    RAND=$RANDOM$RANDOM
else
    RAND=`date +'%s'`
fi 

#The start line
START_LINE=`expr $RAND % '(' $NUM_LINES - $MAX_LINES ')'`

tail -n +$START_LINE $1 | head -n $MAX_LINES

---- END FILE ----

หากคุณรู้จำนวนบรรทัดในไฟล์ (เช่น 1e6 ในกรณีของคุณ) คุณสามารถทำได้:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

ถ้าไม่คุณสามารถทำได้

awk -v n="$(wc -l < file)" -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

ที่จะทำสองผ่านในไฟล์ แต่ยังคงหลีกเลี่ยงการเก็บไฟล์ทั้งหมดในหน่วยความจำ

ข้อดีอีกประการของ GNU shufก็คือมันจะรักษาลำดับของบรรทัดในไฟล์

โปรดทราบว่ามันถือว่าn เป็นจำนวนบรรทัดในไฟล์ หากคุณต้องการที่จะพิมพ์pออกมาจากครั้งแรกที่ nสายของไฟล์ (ซึ่งมีสายที่อาจเกิดขึ้นมากกว่า) คุณจะต้องหยุดawkในn^{วันที่}บรรทัดที่ชอบ:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}
  !n {exit}' < file

ฉันชอบใช้ awk สำหรับสิ่งนี้เมื่อฉันต้องการรักษาแถวส่วนหัวและเมื่อตัวอย่างสามารถเป็นเปอร์เซ็นต์โดยประมาณของไฟล์ ใช้งานได้กับไฟล์ที่มีขนาดใหญ่มาก:

awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01 || FNR==1) print > "data-sample.txt"}' data.txt

หรือเช่นนี้

LINES=$(wc -l < file)  
RANDLINE=$[ $RANDOM % $LINES ]  
tail -n $RANDLINE  < file|head -1  

จากหน้าคนทุบตี:

        RANDOM ทุกครั้งที่มีการอ้างอิงพารามิเตอร์นี้จำนวนเต็มแบบสุ่ม
              สร้างขึ้นระหว่าง 0 ถึง 32767 ลำดับของการสุ่ม
              หมายเลขอาจถูกเตรียมใช้งานโดยการกำหนดค่าให้ RAN‐
              DOM หาก RANDOM ไม่ได้ตั้งค่ามันจะสูญเสียความเหมาะสมเป็นพิเศษ ‐
              เสมอแม้ว่ามันจะถูกรีเซ็ตในภายหลัง

หากขนาดไฟล์ของคุณไม่ใหญ่คุณสามารถใช้การเรียงลำดับแบบสุ่ม สิ่งนี้ใช้เวลานานกว่า shuf เล็กน้อย แต่จะสุ่มข้อมูลทั้งหมด ดังนั้นคุณสามารถใช้หัวต่อไปนี้ตามที่คุณร้องขอได้อย่างง่ายดาย:

sort -R input | head -1000 > output

นี่จะเรียงลำดับไฟล์แบบสุ่มและให้ 1,000 บรรทัดแรกให้คุณ

ดังที่กล่าวไว้ในคำตอบที่ยอมรับ GNU shufสนับสนุนการสุ่มตัวอย่างแบบง่าย ( shuf -n) ค่อนข้างดี หากสุ่มตัวอย่างวิธีการนอกเหนือจากที่ได้รับการสนับสนุนโดยshufมีความจำเป็นต้องพิจารณาTSV ตัวอย่างจากอีเบย์ TSV ยูทิลิตี้ สนับสนุนโหมดการสุ่มตัวอย่างเพิ่มเติมหลายประการรวมถึงการสุ่มแบบถ่วงน้ำหนักการสุ่มตัวอย่างเบอร์นูลีและการสุ่มตัวอย่างที่แตกต่างกัน ประสิทธิภาพคล้ายกับ GNU shuf(ทั้งสองค่อนข้างเร็ว) ข้อจำกัดความรับผิดชอบ: ฉันเป็นผู้เขียน