ที่เก็บข้อมูล IOPS เปลี่ยนไปอย่างไรเมื่อตอบสนองต่อความจุของดิสก์

สิ่งอื่น ๆ ทั้งหมดเท่ากันประสิทธิภาพของ IOPS ของอาเรย์การจัดเก็บจะเปลี่ยนไปอย่างไรหากใช้ดิสก์ที่ใหญ่กว่า

ตัวอย่างเช่นใช้อาร์เรย์ที่มีดิสก์ 10 X 100GB

วัด IOPS สำหรับการเขียนบล็อกตามลำดับ 256kb (หรือตัวชี้วัด IOPS ใด ๆ )

สมมติว่า IOPS ที่วัดได้นั้นคือ 1000 IOPS

เปลี่ยนอาร์เรย์สำหรับหนึ่งด้วยดิสก์ 10 X 200GB ฟอร์แมตด้วยการกำหนดค่า RAID เดียวกันขนาดบล็อกเดียวกัน ฯลฯ

ใครจะคาดหวังว่า IOPS จะยังคงเหมือนเดิมเพิ่มขึ้นหรือลดลง? การเปลี่ยนแปลงจะเป็นเส้นตรงหรือไม่ ie เพิ่มขึ้น 2 เท่าหรือลดลง 2 เท่า (เนื่องจากฉันเพิ่มความจุของดิสก์เพิ่มขึ้น 2 เท่า)

ทำซ้ำคำถามเหล่านี้ด้วยดิสก์ 10 X 50GB

แก้ไข: บริบทเพิ่มเติม

คำถามนี้ส่งผลให้เกิดการสนทนาระหว่างทีมดูแลระบบของฉันที่ไม่ได้มีความเชี่ยวชาญในการจัดเก็บทุกสิ่ง (สะดวกสบายด้วยที่เก็บข้อมูลหลายด้าน แต่ไม่ใช่รายละเอียดของการจัดการ SAN หรืออะไรก็ตาม) เราได้รับกองใหญ่ของถาด Netapp ใหม่ที่มีความจุดิสก์สูงกว่าต่อดิสก์ - ความจุสองเท่า - มากกว่าถาดที่มีอยู่ของเรา ความคิดเห็นขึ้นมาว่า IOPS ของถาดใหม่จะลดลงเพียงเพราะดิสก์มีขนาดใหญ่ขึ้น จากนั้นมีการเปรียบเทียบรถขึ้นเพื่ออธิบายสิ่งนี้ ความคิดเห็นทั้งคู่ก็ไม่ดีกับฉันดังนั้นฉันจึงต้องการเรียกใช้กับทีมเช่น Stack-Exchange-land

การเปรียบเทียบรถเป็นเรื่องเกี่ยวกับรถสองคันที่มีความเร่งต่างกันความเร็วสูงสุดเท่ากันและวิ่งหนึ่งไมล์ไมล์ จากนั้นเปลี่ยนระยะทางเป็นครึ่งไมล์ ที่จริงแล้วฉันจำไม่ได้ว่าการเปรียบเทียบที่แน่นอน แต่เนื่องจากฉันพบอีกหนึ่งรายการใน interwebz ที่คล้ายกันฉันคิดว่ามันน่าจะเป็นความคล้ายคลึงของ IOPS ทั่วไป

ในบางวิธีการตอบคำถามจริงนั้นไม่สำคัญสำหรับฉันมากนักเนื่องจากเราไม่ได้ใช้ข้อมูลนี้เพื่อประเมินการซื้อ แต่เราจำเป็นต้องประเมินวิธีที่ดีที่สุดในการแนบถาดกับหัวที่มีอยู่และวิธีที่ดีที่สุดในการแกะสลักมวลรวมและปริมาณ

เพื่อตอบคำถามของคุณโดยตรงสิ่งอื่น ๆ ทั้งหมดเท่ากับ = ไม่มีการเปลี่ยนแปลงใด ๆ เมื่อมีการเปลี่ยนแปลง GB

คุณไม่ได้วัด IOPS ด้วย GB คุณใช้เวลาค้นหาและเวลาแฝง

ฉันสามารถเขียนใหม่ทั้งหมดที่นี่ แต่ตัวอย่างด้านล่างทำทุกอย่างแล้วและฉันจะทำซ้ำ:

https://ryanfrantz.com/posts/calculating-disk-iops.html

http://www.big-data-storage.co.uk/how-to-calculate-iops/

http://www.wmarow.com/strcalc/

http://www.thecloudcalculator.com/calculators/disk-raid-and-iops.html

ฉันรู้ว่านี่อาจเป็นคำถามสมมุติ ... แต่โลกไอทีไม่ได้ทำงานอย่างนั้น มีข้อ จำกัด มีเหตุผลที่จะต้องพิจารณารวมทั้งสิ่งอื่น ๆ ที่มีความสามารถมีอิทธิพลต่อ IOPS ...

• ดิสก์ 50GB และ 100GB ไม่มีอยู่จริงอีกต่อไปแล้ว ลองคิดดูเพิ่มเติม: 72, 146, 300, 450, 600, 900, 1200GBในดิสก์องค์กรและ500, 1,000, 2000, 3000, 4000, 6000GBในสื่อจัดเก็บข้อมูลขนาดใหญ่ใกล้ / กลาง

• มีสิ่งที่เป็นนามธรรมมากมายในที่เก็บข้อมูลสมัยใหม่ การแคชดิสก์ตัวควบคุมแคชการถ่ายข้อมูล SSD เป็นต้นซึ่งความแตกต่างใด ๆ นั้นยากที่จะแยกแยะได้

• คุณมีปัจจัยรูปแบบไดรฟ์อินเตอร์เฟซและความเร็วในการหมุนที่แตกต่างกันในการพิจารณา ดิสก์ SATA มีรายละเอียดผลการดำเนินงานที่แตกต่างกันกว่า SAS หรือnearline SAS ดิสก์ 7,200RPM มีพฤติกรรมแตกต่างจาก 10,000RPM หรือ 15,000RPM และความพร้อมใช้งานของความเร็วการหมุนที่หลากหลายนั้น จำกัด อยู่ที่ความสามารถบางอย่าง

• เค้าโครงตัวควบคุมทางกายภาพ ตัวขยาย SAS, ตัวควบคุม RAID / SAS สามารถมีอิทธิพลต่อ IOPS ขึ้นอยู่กับเค้าโครงของดิสก์, อัตราการบอกรับสมาชิกเกินกำหนด, ไม่ว่าจะเป็นการเชื่อมต่อภายในเซิร์ฟเวอร์หรือในกล่องหุ้มภายนอก จำนวนมากของดิสก์ SATA ทำงานได้ไม่ดีในการขยายและในช่วงเงื่อนไขข้อผิดพลาดของไดรฟ์

• บางอย่างนี้อาจได้รับอิทธิพลจากการกระจายตัวของความจุที่ใช้ในดิสก์อาร์เรย์

• เคยได้ยินstroking ระยะสั้นหรือไม่

• ซอฟต์แวร์กับฮาร์ดแวร์ RAID การดึงข้อมูลล่วงหน้าการทำโปรไฟล์แบบปรับตัว ...

นำไปสู่สิ่งที่คุณจะเชื่อว่ากำลังการผลิตที่จะมีใด ๆ ที่ส่งผลกระทบต่อประสิทธิภาพการทำงานในสถานที่แรก? คุณสามารถให้บริบทเพิ่มเติมได้หรือไม่

แก้ไข:

หากชนิดของดิสก์ฟอร์มแฟคเตอร์อินเทอร์เฟซและความสามารถในการใช้งานเท่ากันดังนั้นไม่ควรมีความแตกต่างใน IOPS สมมติว่าคุณกำลังเปลี่ยนจาก 300GB เป็น 600GB ดิสก์องค์กร SAS 10k ด้วยจำนวนแกนหมุนเท่ากันคุณไม่ควรเห็นความแตกต่างของประสิทธิภาพ ...

อย่างไรก็ตามถ้าชั้นวางดิสก์ NetApp ที่คุณพูดถึงใช้ 6Gbps หรือ 12Gbps SAS backplanes เทียบกับ 3Gbps แบบดั้งเดิมคุณอาจเห็นการเปลี่ยนแปลงของปริมาณงานในอุปกรณ์ใหม่

หนึ่งในสถานที่ที่มีคือความสัมพันธ์โดยตรงระหว่างขนาดของดิสก์และ IOPS อยู่ในAmazon AWS เมฆและอื่น ๆ "บริการที่มีเมฆ" บริการ AWS สองประเภท ( Elastic Block StoreและRelational Database Service ) มอบ IOPS ที่สูงขึ้นสำหรับขนาดดิสก์ที่ใหญ่ขึ้น

โปรดทราบว่านี่เป็นข้อ จำกัด ที่ปลอมโดย Amazon ในบริการของพวกเขา ไม่มีเหตุผลที่ผูกไว้กับฮาร์ดแวร์สำหรับกรณีนี้ อย่างไรก็ตามฉันเคยเห็นประเภท devopsที่ไม่คุ้นเคยกับฮาร์ดแวร์ที่ไม่ได้ใช้เสมือนจริงซึ่งเชื่อว่าข้อ จำกัด นี้เหมาะสมสำหรับระบบเดสก์ท็อปและสิ่งอื่นที่คล้ายคลึงกัน ความสัมพันธ์ของขนาดดิสก์ / IOPS เป็นข้อ จำกัด ทางการตลาดบนคลาวด์ไม่ใช่ข้อ จำกัด ด้านฮาร์ดแวร์

ฉันควรชี้ให้เห็นว่า IOPS ไม่ใช่การวัดความเร็วที่ยอดเยี่ยมสำหรับการเขียนตามลำดับ แต่ให้ลองไปกับมัน

ฉันสงสัยว่าเวลาในการค้นหาและเขียนของหัวดิสก์นั้นค่อนข้างคงที่แม้จะมีขนาดของดิสก์ 20 ปีที่แล้วเราทุกคนใช้ดิสก์ 60GB กับ (โดยประมาณ - ไม่เชิงเส้น) ความเร็วในการอ่าน / เขียนเท่ากัน

ฉันคาดเดาการศึกษา แต่ฉันไม่คิดว่าความหนาแน่นของดิสก์เกี่ยวข้องเชิงเส้นกับประสิทธิภาพของดิสก์

ตัวอย่างเช่นใช้อาร์เรย์ที่มีดิสก์ 10 X 100GB

วัด IOPS สำหรับการเขียนบล็อกตามลำดับ 256kb (หรือตัวชี้วัด IOPS ใด ๆ )

สมมติว่า IOPS ที่วัดได้นั้นคือ 1000 IOPS

ตกลง

เปลี่ยนอาร์เรย์สำหรับหนึ่งด้วยดิสก์ 10 X 200GB ฟอร์แมตด้วยการกำหนดค่า RAID เดียวกันขนาดบล็อกเดียวกัน ฯลฯ

ใครจะคาดหวังว่า IOPS จะยังคงเหมือนเดิมเพิ่มขึ้นหรือลดลง?

อาจจะยังคงอยู่ประมาณเทียบเท่ากับอีกคนหนึ่ง

การเปลี่ยนแปลงจะเป็นเส้นตรงหรือไม่

ประวัติความเป็นมาของสื่อการหมุนบอกฉันว่าอาจไม่มีความสัมพันธ์

ทำซ้ำคำถามเหล่านี้ด้วยดิสก์ 10 X 50GB

อีกครั้งเทียบเท่าคร่าวๆ

ความเร็วของคุณในทุกกรณีเหล่านี้มาจากความจริงที่ว่า RAID ทำหน้าที่เหมือนดิสก์เดียวที่มีหัวเขียนสิบหัวดังนั้นคุณสามารถส่ง 1 / 10th ของงานขนานกับแต่ละดิสก์ได้

ในขณะที่ฉันไม่มีตัวเลขที่ยากที่จะแสดงให้คุณเห็นประสบการณ์ที่ผ่านมาของฉันบอกฉันว่าการเพิ่มประสิทธิภาพของดิสก์ของคุณไม่ได้ง่ายอย่างที่ได้รับความจุมากขึ้น

แม้จะมีสิ่งที่ผู้คนการตลาดบอกคุณคือนวัตกรรมก่อนที่จะเริ่มราคาถูก (ER) ดิสก์ของรัฐที่มั่นคงได้มีการพัฒนาที่สำคัญเล็ก ๆ น้อย ๆ ในการทำงานของปั่นสื่อในช่วง 20 ปีที่ผ่านมาน่าจะเอาใจใส่เพียงเพื่อที่คุณจะได้รับจากการเกิดสนิม และรวดเร็วมากเท่านั้นที่เราจะได้หัวดิสก์รุ่นปัจจุบันของเราไป

ประสิทธิภาพที่เพิ่มเข้ามาในเครื่องชั่งจัดเก็บข้อมูลที่มีการเพิ่มแกนหมุนแต่ละอัน ความเร็วในการหมุนของไดรฟ์เป็นปัจจัยที่ใหญ่ที่สุดดังนั้นการเพิ่มไดรฟ์ 10k RPM จะให้ประสิทธิภาพมากขึ้น (ในแง่ของ IO / s ในการสุ่ม IO หรือ MB / s ในการสตรีม IO) กว่าไดรฟ์ 7.2k RPM ขนาดของไดรฟ์นั้นแทบไม่มีผลกระทบเลย

มีคนพูดว่าไดรฟ์ขนาดเล็กทำงานได้เร็วขึ้นเพราะคุณต้องการแกนหมุนมากขึ้นต่อ TB ที่ใช้งานได้ การเพิ่มขนาดไดรฟ์ของแกนหมุนนั้นจะไม่ลดประสิทธิภาพ แต่จะช่วยให้คุณสามารถใส่ข้อมูลลงในดิสก์ได้มากขึ้นซึ่งอาจส่งผลให้ปริมาณงานเพิ่มขึ้น

หากคุณคิดว่าทุกอย่างเท่าเทียมกันคุณลักษณะด้านประสิทธิภาพของดิสก์ที่มีความจุมากขึ้นจะไม่เปลี่ยนแปลงมากนัก ไดรฟ์ 10K RPM FC มีลักษณะคล้ายกันมากไม่ว่าจะเป็น 300GB หรือ 3TB จานหมุนในอัตราเดียวกันและหัวค้นหาด้วยความเร็วเดียวกัน

ทรูพุตที่ยั่งยืนนั้นก็ไม่ต่างกันมาก นี่เป็นรากเหง้าของปัญหาประสิทธิภาพการทำงานแม้ว่าในหลายกรณีผู้คนซื้อเทราไบต์พวกเขาไม่ซื้อ IOPs หรือ MB / วินาที

และจะใช้เวลา 10 เท่าในการสร้าง / คัดลอกไดรฟ์ 3TB เป็นไดรฟ์ 300GB

เราต้องดูที่ความจุเกินอย่างมากสำหรับโครงการสตอเรจดังนั้นขนาดของไดรฟ์ยังคงเพิ่มขึ้น แต่ความสามารถด้านประสิทธิภาพของมันก็ไม่มาก อย่างน้อยหนึ่งกรณีเราได้ซื้อพื้นที่เก็บข้อมูล ~ 400TB เพื่อเติมเต็มความต้องการ 100TB เพราะเราต้องการแกนหมุน

หากคุณกำลังหมุนดิสก์ (ไม่ใช่ SSD) ทุกอย่างจะเท่ากันความเร็วในการถ่ายโอนจะสูงกว่าหากคุณใช้แทร็กด้านนอกของดิสก์ สิ่งนั้นจะเกิดขึ้นโดยอัตโนมัติหากคุณใช้ดิสก์ที่เต็มไปเพียงบางส่วนเท่านั้น ในเวลาเดียวกันหากดิสก์เต็มเพียงบางส่วนการเคลื่อนไหวส่วนหัวเฉลี่ยของคุณจะน้อยลงและจำนวนการเคลื่อนไหวส่วนหัวจะน้อยลงเนื่องจากมีข้อมูลต่อแทร็กมากขึ้น

เป็นเรื่องจริงไม่ว่าคุณจะใช้ดิสก์แผ่นเดียวหรือไดรฟ์ RAID

ตอนนี้ถ้าคุณเปรียบเทียบดิสก์ 100GB และ 2000GB คุณสามารถมั่นใจได้ว่าทุกอย่างไม่เท่ากัน แต่ถ้าผู้ผลิตรายเดียวกันเสนอ 500GB, 1TB, 1.5TB และ 2TB ไดรฟ์ด้วย platters หนึ่งสองสามและสี่ทุกอย่างอื่นจะมีค่าเท่ากันและ 10 x 500GB จะช้ากว่า 10 x 2TB เพื่อเก็บข้อมูล 4TB (จะไม่มีความแตกต่างหากคุณเก็บ 100 GB เท่านั้นเนื่องจากไดรฟ์ 500 GB จะว่างเปล่าเช่นกัน)

แต่สำหรับไดรฟ์ RAID คุณจะไม่ถูก จำกัด ด้วยความเร็วในการถ่ายโอนมากนัก RPM ที่สูงขึ้นจะมีความสำคัญมากกว่า และคุณมักจะพบ RPM ที่สูงขึ้นพร้อมกับความจุที่ต่ำกว่า ในทางตรงกันข้ามถ้าคุณไปด้วย RPM สูง / ความจุต่ำแล้วคุณอาจดูไดรฟ์ SSD