คำถามติดแท็ก io

คำสั่ง tar ปกติ tar cvf foo.tar ./foo >foo.out 2>foo.err มีสามสตรีม IO เอาต์พุต เก็บข้อมูลไปยัง foo.tar รายการชื่อไฟล์ไปยัง STDOUT (เปลี่ยนเส้นทางไปยัง foo.out) ข้อความแสดงข้อผิดพลาดไปยัง STDERR (เปลี่ยนเส้นทางไปยัง foo.err) ฉันสามารถตรวจสอบ foo.err เพื่อหาข้อความแสดงข้อผิดพลาดโดยไม่ต้องอ่านรายชื่อไฟล์ ถ้าฉันต้องการทำอะไรกับข้อมูลที่เก็บถาวร (ไพพ์ผ่าน netcat หรือโปรแกรมบีบอัดแบบพิเศษ) ฉันสามารถใช้-f -ตัวเลือกของ tar tar cvf - ./foo 2>foo.err | squish > foo.tar.S แต่ตอนนี้รายชื่อไฟล์ของฉันถูกผสมกับข้อความแสดงข้อผิดพลาดของฉันเพราะ-vเอาท์พุทของ tar ไม่สามารถไปที่ STDOUT (นั่นคือที่ที่เก็บข้อมูลไหล) ดังนั้น tar เขียนอย่างชาญฉลาดถึง STDERR …

12 tar  ksh  io 

ฉันใช้การทดสอบ Debian โดยไม่มีปัญหาใด ๆ เป็นเวลา ~ 6 ปี (ฉันเพิ่งอัปเดตเป็นประจำ) แต่เมื่อเร็ว ๆ นี้มันเริ่มแสดงพฤติกรรมแบบสุ่มที่สามารถสรุปได้ว่า "ประสิทธิภาพ I / O ต่ำซึ่งยังคงอยู่จนกระทั่งรีบูต" ปัญหาคือทันใดดิสก์ทั้งหมดอ่านและเขียนช้าลงถึง ~ 5MB / วินาทีซึ่งส่งผลในการอ่านและเขียนอย่างต่อเนื่อง เนื่องจากอัตราต่ำมากดิสก์จึงไม่ได้ท้าทายหรือเน้นกลไก แต่ทุกอย่างช้าลงจนกว่าฉันจะรีบูต ระบบย่อย I / O ของคอมพิวเตอร์ประกอบด้วยหนึ่ง OCZ Vertex 3 SSD และ HDD WD Caviar Black สองตัว SSD เก็บส่วนที่อ่านหนักของระบบปฏิบัติการและพาร์ติชันบน HDD เก็บส่วนที่เหลือ เพื่อวินิจฉัยปัญหาฉันลองทำสิ่งต่อไปนี้โดยไม่ประสบความสำเร็จ: top ไม่แสดงกิจกรรมที่ควบคุมไม่ได้ทั้งในการใช้งาน CPU และ I / …

11 linux  performance  io 

มีเครื่องมือที่ชอบiotopแต่สำหรับการตรวจสอบ IO ในปริมาณที่เฉพาะเจาะจงหรือไม่? (หรือบางทีฉันพลาดวิธีการกรองiotop?) ถ้าไม่ได้มีวิธีการที่จะได้รับข้อมูลนี้ผ่านทาง (พูด) ใด/proc? ( dstatฯลฯ แสดงเฉพาะกิจกรรมรวมในทุกกระบวนการต่อเล่มในขณะที่ฉันสนใจที่จะดูว่าแต่ละกระบวนการมีส่วนร่วมอย่างไร)

11 linux  io  top  proc 

เหตุผลเบื้องหลังทำให้ I / O ไม่สามารถขัดจังหวะได้อย่างไร อะไรจะเป็นผลลบหากกระบวนการจัดการ I / O ได้รับอนุญาตให้จัดการสัญญาณ

11 process  io 

ฉันมีเครื่อง Debian บน LAN ที่ให้บริการในฐานะเซิร์ฟเวอร์สำรองสำหรับเครื่องอื่น ๆ มี HDD สี่ตัวที่รวมอยู่ในอุปกรณ์ RAID 5 md บน LVM และบน btrfs นั้น ทำการสำรองข้อมูลโดยใช้ rsync และสำหรับระบบไฟล์ขนาดใหญ่ใช้เวลามากกว่าหนึ่งชั่วโมง เป็นเวลานานที่ฉันคิดว่าจะมีเรื่องเล็กน้อยที่ฉันสามารถทำได้เกี่ยวกับเรื่องนี้ อย่างไรก็ตามเมื่อเร็ว ๆ นี้ฉันสังเกตเห็นว่ากิจกรรม HDD นั้นแตกต่างกันมากทั้งสองด้านของการถ่ายโอน ในขณะที่ด้านการส่งการเรียกใช้ Gentoo และส่วนใหญ่ใช้ ext4 นั้นแทบจะไม่มีดิสก์ IO เลยด้านรับนั้นยุ่งตลอดเวลา เนื่องจากข้อมูลส่วนใหญ่จะไม่เปลี่ยนแปลงระหว่างการถ่ายโอนฉันเชื่อว่าการอ่านข้อมูลเมตาควรเป็นข้อมูลจำนวนมาก แต่ฉันจะแปลกใจจริงๆถ้าการอ่าน inodes ใน btrfs นั้นทำงานได้ดีกว่าการทำแบบเดียวกันใน ext4 iotop ยืนยันดิสก์อ่านประมาณ 1-4 MB / s ในด้านการรับในขณะที่ด้านการส่งมีการระเบิดเป็นครั้งคราวเพียง 0.5 MB / …

11 performance  rsync  io  mdadm  btrfs 

ฉันใช้ curl ในไวยากรณ์นี้: curl -o myfile.jpg http://mysite.com/myfile.jpg หากฉันรันคำสั่งนี้สองครั้งฉันจะได้รับสองไฟล์: myfile.jpg myfile-1.jpg ฉันจะบอก CURL ได้อย่างไรว่าฉันต้องการให้มันเขียนทับไฟล์หากมีอยู่?

11 filenames  io  curl 

ฉันมีงาน rsync cron ซึ่งผลักภาระเซิร์ฟเวอร์และเรียกเตือนการตรวจสอบ หากฉันตั้งค่างานให้ทำงานในระดับดีมากจะช่วยลดผลกระทบที่มีต่อค่าโหลดระบบได้อย่างมีประสิทธิภาพหรือไม่

10 cron  rsync  io  load  nice 

ฉันมีอินสแตนซ์ MySQL บนเซิร์ฟเวอร์เฉพาะสองแห่ง หนึ่งสำหรับการผลิตอีกหนึ่งสำหรับแพลตฟอร์มการทดสอบ เซิร์ฟเวอร์ 2 ตัวค่อนข้างเหมือนกันความแตกต่างเพียงอย่างเดียวคือตัวควบคุม RAID และปริมาณเสมือน (HD เหมือนกัน) ในการผลิตมีคอนโทรลเลอร์ HW RAID เฉพาะและโวลุ่ม RAID 10 ในอีกด้านหนึ่งคอนโทรลเลอร์ RAID ดูเหมือนจะเป็นซอฟต์แวร์ (Lenovo ThinkServer RAID 110i) และโวลุ่มนั้นคือ RAID 5 เราสังเกตเห็นว่าระหว่างการคอมมิชชัน MySQL เรามีไอโออิทสูง: while true; do date; ps auxf | awk '{if($8=="D") print $0;}'; sleep 1; done root 26661 0.0 0.0 0 0 …

10 linux  mysql  raid  io  software-raid 

ฉันจะลดเวลารอคอยของ IO และลองอีกครั้งเพื่อให้ระบบปฏิบัติการไม่พยายามเขียนลงในไดรฟ์ที่ล้มเหลวอย่างต่อเนื่องได้อย่างไร ฉันมีระบบที่ใช้ในการทำสำเนาของเนื้อหาตัวอย่างที่ยืมมาจากลูกค้าไปยังฮาร์ดไดรฟ์เดสก์ท็อป SATA ปกติ เราเชื่อมต่อไดรฟ์หลายตัวพร้อมกันผ่าน SAS และคัดลอกเนื้อหาไปยังพวกเขาโดยใช้สคริปต์ เนื่องจากไดรฟ์ยืมมาบางครั้งบางคนก็กลับมาเสียหาย แต่ฉันไม่ทราบว่าพวกเขาได้รับความเสียหายดังนั้นในครั้งต่อไปที่ไดรฟ์สามารถนำกลับมาใช้ในการดำเนินการคัดลอกได้ก็จะทำให้ไดรฟ์อื่นช้าลง บางครั้งอาจใช้เวลาหลายชั่วโมงก่อนที่ฉันจะสังเกตเห็นไดรฟ์ที่ไม่ดีและนำออก หลังจากถอดไดรฟ์แล้วไดรฟ์ที่เหลือจะเริ่มเขียนด้วยความเร็วปกติ ฉันไม่สนใจเกี่ยวกับการกู้คืนไดรฟ์ที่ไม่ดี ฉันแค่ต้องกำจัดพวกมันออกไปดังนั้นพวกมันจะไม่ทำให้ทุกอย่างช้าลง ฉันยังทำการวิจัยแบดเจ็ตและสมาร์ทแวร์และพิจารณาการเขียน pre-check บนไดรฟ์ก่อนเริ่มเขียน ระบบปฏิบัติการ: Ubuntu Linux (12.04 lts)

10 linux  hard-disk  performance  io  badblocks 

เมื่อไฟล์ถูกย้ายและไฟล์ปลายทางมีอยู่แล้วและกำลังอ่านอยู่การดำเนินการจะสำเร็จหรือไม่ มันจะขึ้นอยู่กับระยะเวลาที่การอ่านไฟล์ปลายทางนานเท่าไร?

10 io  concurrency 

บางครั้งบางครั้งหลังจากที่ฉันแบ็คกราวน์กระบวนการด้วยbgใน bash เมื่อฉันกด Enter ในเชลล์เดียวกันเพื่อแสดงพร้อมท์อีกครั้ง (เพื่อตรวจสอบว่าฉันยังอยู่ใน bash เมื่อแสดงผลลัพธ์บางส่วนจากกระบวนการพื้นหลัง) กระบวนการพื้นหลังดูเหมือนว่าจะหยุดเอง ถ้าฉันทำbgอีกครั้งปัญหาเดียวกันจะเกิดขึ้นอีก fgวิธีเดียวที่จะแก้ไขมันน่าจะเป็น ทำไมสิ่งนี้ถึงเกิดขึ้น

10 terminal  io  job-control  background-process 

ฉันมีกระบวนการเล็กน้อยที่มีชื่อที่รู้จักซึ่งทั้งหมดเขียนไปยังไฟล์ในไดเรกทอรีเดียว ฉันต้องการบันทึกจำนวนดิสก์บล็อกอ่านและเขียนในช่วงเวลา ( ไม่ใช่แค่การเข้าถึงไฟล์) เพื่อทดสอบว่าการเปลี่ยนแปลงพารามิเตอร์จะลดจำนวน I / O อย่างมีนัยสำคัญหรือไม่ ฉันใช้อยู่ในขณะนี้iostat -d -pแต่ จำกัด เฉพาะพาร์ทิชันทั้งหมด

10 linux  monitoring  io  disk-usage 

ฉันมี 2 แอปพลิเคชัน: ผู้ผลิต (อินสแตนซ์ N) ผู้บริโภค (1 อินสแตนซ์) ฉันกำลังเขียนออกกลางผลมาจากผู้ผลิตและผู้บริโภคแล้วอ่านไฟล์เหล่านี้จากดิสก์และผลิตสุดท้ายผล ฉันต้องการลด I / O นี้ให้น้อยที่สุดโดย "สตรีมมิ่ง" ผลลัพธ์จากผู้ผลิตโดยตรงไปยังผู้บริโภค ฉันมาข้ามท่อชื่อ (mkfifo) และเป็นตัวอย่างที่ตามมาที่นี่ สิ่งนี้ดูดี แต่สิ่งที่ฉันไม่สามารถระบุได้ว่าจะนำไปใช้จริงได้อย่างไร คิว FIFO เพิ่งถูกบัฟเฟอร์ผ่านไฟล์หรือไม่? ถ้าเป็นเช่นนั้นอาจจะไม่ช่วยฉัน ฉันต้องการเนื้อหาที่จะสตรีม "ผ่านหน่วยความจำ" ทั้งหมดโดยไม่ต้องใช้ดิสก์ บางทีนี่อาจเป็นไปไม่ได้ในกระบวนการต่างๆ

10 io  fifo 

มีวิธีใดบ้างที่จะเห็นดิสก์ I / O ต่อ pid / โปรเซส? Monitorix แสดงต่อไปนี้และแก้ไขให้ฉันถ้าฉันผิด แต่ดูเหมือนว่าฮาร์ดไดรฟ์กำลังทำให้ระบบช้าลง: อัปเดต # 1 บนยอดดูเหมือนจะให้ภาพรวมที่ดีเหนือทุกสิ่ง ฉันอาจถามคุณว่าการรอคอยที่ทำเครื่องหมายสีแดงหมายถึงอะไร นั่นเป็นการรอจากดิสก์ I / O หรือไม่

9 ubuntu  process  hard-disk  disk-usage  io 

เมื่อใดก็ตามที่มีดิสก์ I / O สูงระบบจะช้าและตอบสนองน้อยกว่าปกติ เคอร์เนล Linux มีความคืบหน้าเกี่ยวกับเรื่องนี้อย่างไร ปัญหานี้เกิดขึ้นอย่างแข็งขันหรือไม่?

9 linux  kernel  performance  io