จะสร้างไฟล์ขนาดใหญ่ใน UNIX ได้อย่างไร?

ฉันพบวิธีใน Windows ในการทำสิ่งนั้น

echo "This is just a sample line appended  to create a big file. " > dummy.txt
for /L %i in (1,1,21) do type dummy.txt >> dummy.txt

http://www.windows-commandline.com/how-to-create-large-dummy-file/

มีวิธีใดใน UNIX ที่จะคัดลอกไฟล์ผนวกและทำซ้ำกระบวนการหรือไม่? สิ่งที่ชอบfor .. cat file1.txt > file1.txt?

yes "Some text" | head -n 100000 > large-file

ด้วยcsh/ tcsh:

repeat 10000 echo some test > large-file

ด้วยzsh:

{repeat 10000 echo some test} > large-file

บนระบบ GNU โปรดดู:

seq 100000 > large-file

หรือ:

truncate -s 10T large-file

(สร้างไฟล์เบาบาง 10TiB (ขนาดใหญ่มาก แต่ไม่ได้ใช้พื้นที่ใด ๆ บนดิสก์)) และทางเลือกอื่น ๆ ที่กล่าวถึง"สร้างไฟล์ทดสอบที่มีจำนวนมากของศูนย์ไบต์"

การทำcat file >> fileจะเป็นความคิดที่ไม่ดี

ครั้งแรกมันไม่ทำงานกับcatการใช้งานบางอย่างที่ปฏิเสธที่จะอ่านไฟล์ที่เหมือนกับไฟล์เอาท์พุท แต่แม้ว่าคุณจะหลีกเลี่ยงมันด้วยการทำcat file | cat >> fileถ้าfileมันมีขนาดใหญ่กว่าcatบัฟเฟอร์ภายในของมันนั่นจะทำให้เกิดcatการทำงานในวงวนไม่สิ้นสุดเนื่องจากมันจะจบลงด้วยการอ่านข้อมูลที่เขียนไว้ก่อนหน้านี้

ในระบบไฟล์ที่ได้รับการสนับสนุนจากฮาร์ดไดรฟ์แบบหมุนได้ก็จะไม่มีประสิทธิภาพเช่นกัน (หลังจากที่มีขนาดใหญ่เกินกว่าที่จะถูกเก็บไว้ในหน่วยความจำ) เนื่องจากไดรฟ์จะต้องย้อนกลับไปมาระหว่างตำแหน่งที่จะอ่านข้อมูล และสถานที่ที่จะเขียน

คุณสามารถสร้างไฟล์ขนาดใหญ่บน Solaris โดยใช้:

mkfile 10g /path/to/file

อีกวิธีหนึ่งที่ใช้งานได้บน Solaris (และ Linux):

truncate -s 10g /path/to file

นอกจากนี้ยังเป็นไปได้ที่จะใช้:

dd if=/dev/zero of=/path/to/file bs=1048576 count=10240

วิธีที่เร็วที่สุดที่เป็นไปได้ในการสร้างไฟล์ขนาดใหญ่ในระบบ Linux คือfallocate:

sudo fallocate -l 2G bigfile

fallocateจัดการกับระบบไฟล์และไม่ได้เขียนไปยังภาคข้อมูลโดยค่าเริ่มต้นและอย่างรวดเร็วมาก ข้อเสียคือมันจะต้องถูกเรียกใช้ในฐานะรูท

เมื่อใช้งานต่อเนื่องเป็นวงคุณสามารถเติมระบบไฟล์ที่ใหญ่ที่สุดได้ในเวลาไม่กี่วินาที

จาก man fallocate

fallocate ใช้เพื่อจัดการกับพื้นที่ดิสก์ที่จัดสรรสำหรับไฟล์ไม่ว่าจะเป็นการจัดสรรคืนหรือจัดสรรล่วงหน้า
สำหรับระบบไฟล์ที่รองรับการเรียกใช้ระบบ fallocate การจัดสรรล่วงหน้าทำได้อย่างรวดเร็วโดยการจัดสรรบล็อกและทำเครื่องหมายว่าไม่มีการกำหนดค่าเริ่มต้นโดยไม่ต้องใช้ IO กับบล็อกข้อมูล นี่คือเร็วกว่าการสร้างไฟล์โดยเติมด้วยศูนย์
รองรับ XFS (ตั้งแต่ Linux 2.6.38), ext4 (ตั้งแต่ Linux 3.0), Btrfs (ตั้งแต่ Linux 3.7) และ tmpfs (ตั้งแต่ Linux 3.5)

สิ่งนี้จะดำเนินต่อไปจนกว่าคุณจะ CTRL-C:

yes This is stuff that I want to put into my file... >> dummy.txt

ระวังเพราะคุณจะได้รับหลายร้อยบรรทัดต่อวินาที ...

จากman yes:

yes - output a string repeatedly until killed

ถ้าฉันเข้าใจคุณถูกต้องคุณกำลังมองหาสิ่งที่ชอบ:

echo "test line" > file;
for i in {1..21}; do echo "test line" >> file; done

ที่จะสร้างไฟล์ที่มี 22 รายการซ้ำของ "test line" หากคุณต้องการขนาดไฟล์เฉพาะคุณสามารถใช้สิ่งนี้ (บน Linux) 1024 คือหนึ่งกิโลไบต์:

while [ $(stat -c "%s" file) -le 1024 ]; do echo "test line" >> file; done

โดยส่วนตัวเมื่อฉันต้องการสร้างไฟล์ขนาดใหญ่ฉันจะใช้สองไฟล์และแปลงเป็นไฟล์อื่น คุณสามารถทำซ้ำกระบวนการจนกว่าจะถึงขนาดที่ต้องการ (1MB ที่นี่):

echo "test line" > file;
while [ $(stat -c "%s" file) -le 1048576 ]; do 
    cat file >> newfile
    cat newfile >> file
done

โปรดทราบว่าวิธีการแก้ปัญหานี้มักจะเกินขนาดที่ต้องการเพราะหากไฟล์มีขนาดเกินขีด จำกัด ทุกอย่างจะถูกเข้าสู่ระบบอีกครั้ง

ท้ายที่สุดถ้าสิ่งที่คุณต้องการคือไฟล์ขนาดที่ต้องการและไม่ต้องการให้มีอะไรจริง ๆ คุณสามารถใช้truncate:

truncate -s 1M file

โดยการไพพ์เนื้อหาของ/dev/urandomถึงheadคุณสามารถเปลี่ยนทิศทางเอาต์พุตไปยังไฟล์ดังนั้น:

 cat /dev/urandom | head --bytes=100 >> foo.bar

จะให้ไฟล์ที่มีขยะ 100 ไบต์แก่คุณ

echo "This is just a sample line appended  to create a big file. " > dummy.txt
i=1
while [ $i -le 21 ]
do
  cat dummy.txt >> bigfile
  cat bigfile > dummy.txt
  (( i++ ))
done

ผลเดียวกันของสคริปต์ windows ของคุณ แต่ใน bash คุณไม่สามารถต่อไฟล์เข้ากับตัวเองได้โดยตรง