การถ่ายโอนข้อมูลทางทฤษฎีสูงสุดของ NTFS คืออะไร


28

เมื่อเร็ว ๆ นี้ฉันอยู่ที่การประชุมกลุ่มผู้ใช้ในพื้นที่ซึ่งผู้นำเสนอบันทึกว่าปริมาณการรับส่งข้อมูลสูงสุดของ NTFS IO สแต็กคือ 1 GBps เขายืนยันการอ้างสิทธิ์ของเขาโดยการคัดลอกไฟล์ขนาดใหญ่สองไฟล์จากโลจิคัลวอลุ่มเดียวกันไปยังโลจิคัลวอลุ่มที่แตกต่างกัน (เช่น [a] คือแหล่งที่มา [b] คือปลายทาง 1 และ [c] คือปลายทาง 2) และสังเกตอัตราการถ่ายโอน เมกะบิตต่อวินาที เขาทดสอบซ้ำสองสามครั้งและสังเกตว่าระบบย่อยที่เก็บข้อมูลพื้นฐานนั้นเป็นแฟลช (เพื่อให้แน่ใจว่าเราไม่ได้สงสัยว่ามีการจัดเก็บข้อมูลที่ช้า)

ฉันพยายามยืนยันการยืนยันนี้ แต่ไม่พบเอกสารอะไรเลย ฉันสงสัยว่าฉันกำลังค้นหาคำที่ไม่ถูกต้อง ("1GBps NTFS throughput", "NTFS throughput สูงสุด") ฉันสนใจว่าจริง ๆ แล้วสแต็ค IO นั้น จำกัด ที่ 1GBps สำหรับปริมาณงานหรือไม่

แก้ไข

ในการชี้แจง: ฉันไม่เชื่อว่าผู้นำเสนอตั้งใจที่จะบอกเป็นนัยว่าระบบไฟล์ NTFS นั้นถูกจำกัดโดยเจตนา (และฉันขอโทษถ้าฉันบอกเป็นนัยเช่นกัน) ฉันคิดว่ามันเป็นที่ส่อให้เห็นว่ามันเป็นฟังก์ชั่นของการออกแบบระบบแฟ้มที่


1GB / s ค่อนข้างเร็วแม้สำหรับแฟลชไดรฟ์
TheFiddlerWins

2
@TheFiddlerWins 1 GB / s! = 1 Gbps
Kermit

1
ฉันเห็นด้วย แต่คำถามของเขาบอกว่า "... ปริมาณงานสูงสุดของสแต็ค NTFS IO คือ 1 GBps" เท่าที่ฉันทราบ B = ไบต์และ b = บิต
TheFiddlerWins

1
ทดลองง่าย - คัดลอกไฟล์ข้ามดิสก์ RAM หรือไม่ วันนี้ไม่ใช่เรื่องยากที่จะได้รับ RAM 16 * 2 = 32GB
kizzx2

1
JamesRyan - ใช้ FTP เนื่องจากกลไกการถ่ายโอนไม่ได้เปลี่ยนระบบไฟล์ทันที อย่าสับสน SMB กับ NTFS
mfinni

คำตอบ:


36

แม้สมมติว่าคุณหมายถึงGBpsและไม่Gbps...

ผมไม่รู้ระบบแฟ้มใด ๆ throughput limitที่มีจริง ระบบไฟล์เป็นเพียงโครงสร้างรอบ ๆ วิธีการจัดเก็บและดึงไฟล์ พวกเขาใช้เมตาดาต้าโครงสร้างการตั้งชื่อแบบแผนการรักษาความปลอดภัย ฯลฯ แต่ข้อ จำกัด ด้านปริมาณงานที่แท้จริงถูกกำหนดโดยฮาร์ดแวร์พื้นฐานเอง (โดยทั่วไปจะเป็นการรวมกันของฮาร์ดแวร์ที่เกี่ยวข้องจำนวนมาก)

การเปรียบเทียบระบบไฟล์ที่แตกต่างกันและวิธีที่พวกเขาส่งผลกระทบต่อประสิทธิภาพการทำงานของฮาร์ดแวร์พื้นฐานสามารถทำได้ แต่อีกครั้งที่ไม่ได้มีข้อ จำกัด โดยตรงที่กำหนดโดยระบบไฟล์ แต่ "ตัวแปร" มากกว่าในประสิทธิภาพโดยรวมของระบบ

การเลือกปรับใช้ระบบไฟล์หนึ่งไปยังอีกระบบหนึ่งนั้นเกี่ยวข้องกับสิ่งที่ระบบปฏิบัติการพื้นฐานคือสิ่งที่เซิร์ฟเวอร์ / แอพพลิเคชั่นจะเป็นสิ่งที่ฮาร์ดแวร์พื้นฐานและปัจจัยที่อ่อนนุ่มเช่นความเชี่ยวชาญและความคุ้นเคยของผู้ดูแลระบบ

================================================== ================================

ทรัพยากรทางเทคนิคและการอ้างอิง


การเพิ่มประสิทธิภาพ NTFS

ปัจจัยด้านประสิทธิภาพของ NTFS

คุณพิจารณาปัจจัยหลายอย่างที่ส่งผลต่อประสิทธิภาพการทำงานของวอลุ่ม NTFS คุณเลือกองค์ประกอบที่สำคัญเช่นชนิดของไดรฟ์ข้อมูล NTFS (เช่น SCSI หรือ IDE) ความเร็ว (เช่นความเร็วรอบต่อนาทีของดิสก์) และจำนวนดิสก์ที่มีไดรฟ์ นอกเหนือจากองค์ประกอบที่สำคัญเหล่านี้แล้วปัจจัยต่อไปนี้มีอิทธิพลอย่างมากต่อประสิทธิภาพการทำงานของวอลุ่ม NTFS:

  • ขนาดคลัสเตอร์และการจัดสรรหน่วย
  • ตำแหน่งและระดับการแตกแฟรกเมนต์ของไฟล์ที่เข้าถึงบ่อยเช่น Master File Table (MFT), ไดเร็กทอรี, ไฟล์พิเศษที่มีข้อมูลเมตา NTFS, ไฟล์เพจจิ้งและไฟล์ข้อมูลผู้ใช้ที่ใช้กันทั่วไป
  • ไม่ว่าคุณจะสร้างโวลุ่ม NTFS ตั้งแต่เริ่มต้นหรือแปลงจากโวลุ่ม FAT ที่มีอยู่
  • ไม่ว่าจะเป็นปริมาณการใช้การบีบอัด NTFS
  • ไม่ว่าคุณจะปิดใช้งานพฤติกรรม NTFS ที่ไม่จำเป็น

การใช้ดิสก์ที่เร็วกว่าและไดรฟ์อื่น ๆ ในหลายดิสก์เป็นวิธีที่ชัดเจนในการปรับปรุงประสิทธิภาพ วิธีการปรับปรุงประสิทธิภาพอื่น ๆ ไม่ชัดเจนและเกี่ยวข้องกับรายละเอียดของการกำหนดค่าไดรฟ์ข้อมูลของ NTFS


ความสามารถในการขยายและประสิทธิภาพในระบบไฟล์สมัยใหม่

น่าเสียดายที่เป็นไปไม่ได้ที่จะทำการเปรียบเทียบประสิทธิภาพโดยตรงของระบบไฟล์ภายใต้การอภิปรายเนื่องจากไม่สามารถใช้งานได้บนแพลตฟอร์มเดียวกัน เพิ่มเติมเนื่องจากข้อมูลที่มีอยู่นั้นจำเป็นต้องแตกต่างจากแพลตฟอร์มฮาร์ดแวร์จึงเป็นเรื่องยากที่จะแยกแยะความแตกต่างเกี่ยวกับประสิทธิภาพของระบบไฟล์จากแพลตฟอร์มฮาร์ดแวร์ที่ใช้งานอยู่


การเพิ่มประสิทธิภาพ NTFS

เอกสารไวท์เปเปอร์ใหม่ที่ให้คำแนะนำสำหรับการปรับขนาดวอลุ่ม NTFS

มีอะไรใหม่ใน NTFS

การกำหนดค่าระบบไฟล์ NTFS เพื่อประสิทธิภาพ

https://superuser.com/questions/411720/how-does-ntfs-compression-affect-performance

แนวทางปฏิบัติที่ดีที่สุดสำหรับการบีบอัด NTFS ใน Windows


9
แม้กระนั้นฉันก็สามารถให้การประชุมสัมมนาที่มีเพียง 802.11g เชื่อมต่อกับอุปกรณ์ทั้งหมดและสาบานว่าขีด จำกัด ปริมาณงานของ NTFS คือ <54Mbps โดยแสดงให้เห็นถึงการทำซ้ำระหว่างอุปกรณ์
TheCleaner

1
อาจเป็นได้ แต่การพูดว่า "NTFS มีขีด จำกัด ที่ยาก" และ "NTFS ช้ากว่า ext4 สำหรับฮาร์ดแวร์ <x>" นั้นแตกต่างกันมาก เขาอาจตีความผิดคุณอาจตีความผิดไม่ว่าคุณจะไปที่ใด
TheCleaner

7
อีกครั้งระบบไฟล์ NTFS จะไม่มีข้อ จำกัด ดังกล่าว แต่อาจมีไดรเวอร์ NTFS ที่กำหนด
mfinni

1
อย่าคิดว่ามันเป็นขีด จำกัด แต่เป็นค่าใช้จ่ายที่สมเหตุสมผล ซึ่งรวมถึงไดรเวอร์ที่เป็นข้อ จำกัด "set" จะต้องเป็นค่านิยามที่กำหนดไว้ในรหัสของไดรเวอร์ อย่างไรก็ตามฉันเข้าใจว่าคุณคิดว่ากระบวนการ <- (@mfinni) ... ข้อ จำกัด อย่างหนักถูกกำหนดไว้ในปริมาณงานที่ความสามารถของดิสก์ในการประมวลผลอ่าน / เขียน IO และข้อ จำกัด ทางเทคนิคของสื่อการขนส่ง
AngryWombat

1
Nice เพิ่ม @TheCleaner
mfinni

10

ฉันเป็นอย่างมากข้อสงสัยมีคอขวดการถ่ายโอนข้อมูลที่เกี่ยวข้องกับระบบแฟ้มเพราะfilesystemsทำได้กำหนดรายละเอียดการดำเนินการที่จะยากขีด จำกัด ของประสิทธิภาพการทำงาน โปรแกรมควบคุมที่กำหนดสำหรับระบบไฟล์ในการกำหนดค่าฮาร์ดแวร์โดยเฉพาะจะมีปัญหาคอขวด


ฉันไม่คิดว่ามันถูก จำกัด โดยเจตนา แต่คิดว่าบางทีมันอาจเป็นข้อ จำกัด ของการออกแบบ
วิส

ขอบคุณที่โฟกัสจาก "filesystem" เป็น "driver"
swasheck

5
คุณไม่สามารถเพิ่มความเร็วของหนังสือ - คุณสามารถเพิ่มความเร็วของผู้อ่านและสิ่งที่ผู้อ่านขึ้นอยู่กับ
mfinni

ข้อ จำกัด และคอขวดเป็นสองสิ่งที่แตกต่างกัน ... เนื่องจากระบบไฟล์อาจทำให้เกิดค่าใช้จ่ายในทางทฤษฎีเป็นไปได้ในการสร้างคอขวด แต่จะไม่กำหนดขีด จำกัด ที่ยากซึ่งฉันเชื่อว่าเป็นเจตนาที่ตั้งใจในบทความนี้
AngryWombat

7

ฉันจะแปลกใจมากถ้านี่เป็นเรื่องจริง ลองดูทุกสิ่งที่สามารถทำให้ระบบไฟล์ช้าลง:

  • ฟิสิคัลสื่อบันทึก (ดิสก์, ssd)
  • การเชื่อมต่อกับสื่อนี้ (sas, sata, fcal)
  • การกระจายตัวของ
  • อัลกอริทึมการล็อคไม่ดีหรือปัญหารหัสอื่น ๆ
  • ความเร็ว CPU และหน่วยความจำ

ปัจจัย จำกัด ที่พบมากที่สุดคือสื่อทางกายภาพของคุณ หมุนสนิมSLOW ยกตัวอย่างเช่นดิสก์ใหม่นี้ที่มีความเร็วสูงสุด 6 Gbps (นั่นคือ Gbps ไม่ใช่ GBps!) แน่นอนว่าการใช้ RAID 1 setup จะเพิ่มความเร็วขึ้น แน่นอนว่าคุณจะไม่สามารถบรรลุเป้าหมายนี้ได้ในขณะที่พยายามฆ่าการแสดงของคุณ งั้นลองใช้SSD ที่คุณบอกว่า? โอ้ดูที่ 6Gb อีกครั้ง

จากนั้นมีการเชื่อมต่อ: sas (พื้นที่จัดเก็บในท้องถิ่นที่เร็วที่สุด) ไปถึง 6 Gbps แต่ FC ไปถึง 16Gbps

คุณแน่ใจหรือว่าการสาธิตของคุณใช้งานระดับไฮเอนด์สุดยอดฮาร์ดแวร์

หากคุณ: น่าสนใจ! คุณอาจมีกรณีที่ 3 และระบบไฟล์ของคุณต้องการการเพิ่มประสิทธิภาพบางอย่าง หรือมีแนวโน้มว่าไดรเวอร์และแอปพลิเคชั่นของคุณจะกินซีพียูของคุณ (5) หากไม่ใช่ของเหล่านั้นคุณอาจประสบปัญหาประสิทธิภาพการทำงานจริงใน NTFS โปรดรายงานไปยัง microsoft

และแม้กระทั่งตอนนี้: นี่ไม่ใช่ข้อ จำกัด ที่ประดิษฐ์ขึ้นมาแทนที่เพื่อทำให้ชีวิตของคุณน่าสังเวชมากขึ้น ระบบไฟล์ไม่ได้ จำกัด ความเร็วในการถ่ายโอนโดยจงใจ แต่จะถูก จำกัด ด้วยฮาร์ดแวร์ของคุณที่สามารถให้คุณได้


7

ฉันไม่คิดว่าจะมีจำนวนสูงสุด แต่ฉันรู้ว่ามันมีมากกว่า 1 GB / s เพราะผู้คนที่ Samsung อ่าน 2121.29 MB / s และเขียน 2000.195 MB / s ด้วย 2009 rig ของพวกเขาด้วย SSD 24 ไดรฟ์ http://www.youtube.com/watch?v=96dWOEa4Djs

พวกเขาคิดว่าถึงขีด จำกัด นั้นเพราะนี่คือแบนด์วิดธ์ฮาร์ดแวร์รวมของการ์ดคอนโทรลเลอร์ที่ SSD เชื่อมต่ออยู่

นอกจากนี้หน้านี้http://blog.laptopmag.com/faster-than-an-ssd-how-to-turn-extra-memory-into-a-ram-diskแสดงดิสก์ RAM ในรูปแบบที่มี NTFS รับ 5 ถึง 7 GB / s ลองด้วยตัวคุณเองด้วยหนึ่งในรายการ RAMdisk ที่ระบุไว้ในhttp://en.wikipedia.org/wiki/List_of_RAM_drive_software


3

วิธีเดียวที่จะเปรียบเทียบข้อ จำกัด ของระบบไฟล์คือการทำเช่นนั้นข้ามระบบที่ค่าคงที่คือระบบไฟล์และตัวแปรเป็นปัจจัยอื่น ๆ เช่นอุปกรณ์การเชื่อมต่อ ฯลฯ การใช้ระบบหนึ่งเพื่อเปรียบเทียบความเร็วการถ่ายโอนข้ามการทำซ้ำหลาย ๆ ระบบเฉพาะถูก จำกัด ไม่ใช่ว่าระบบไฟล์นั้นถูก จำกัด



1

ไม่มีขีด จำกัด ปริมาณงานที่มีอยู่แล้วใน NTFS ข้อ จำกัด เรื่องความเร็วคือคุณสมบัติด้านประสิทธิภาพของฮาร์ดแวร์ที่รองรับ


ฉันไม่คิดว่ามันถูก จำกัด โดยเจตนา แต่คิดว่าอาจเป็นข้อ จำกัด ของการออกแบบ
swasheck

6
@swasheck ฉันไม่คิดว่ามันเป็นไปได้ที่จะออกแบบระบบไฟล์ที่จะไม่ถ่ายโอนข้อมูลเร็วเป็นสองเท่าถ้าคุณมีหน่วยประมวลผลเร็วกว่าสองเท่าและสามารถอ่านดิสก์ได้สองครั้งเร็วที่สุดและสามารถค้นหาได้เร็วขึ้นเป็นสองเท่า แม้แต่การออกแบบที่ไม่มีประสิทธิภาพมากที่สุดก็สามารถทำได้เร็วขึ้นด้วยการทำให้ทุกอย่างใช้เร็วขึ้น
Random832
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.