ปรับฐานข้อมูลด้วยฮาร์ดไดรฟ์ SSD ราคาถูก

ฉันหวังว่าคุณหลายคนกำลังทำงานกับเว็บไซต์ที่ใช้ฐานข้อมูลที่มีปริมาณการใช้งานสูงและมีโอกาสที่ปัญหาการขยายขีดความสามารถหลักของคุณจะอยู่ในฐานข้อมูล ฉันสังเกตเห็นสิ่งที่สองเมื่อเร็ว ๆ นี้:

1. ฐานข้อมูลขนาดใหญ่ส่วนใหญ่ต้องการทีม DBA เพื่อปรับมาตราส่วน พวกเขาต่อสู้อย่างต่อเนื่องกับข้อ จำกัด ของฮาร์ดไดรฟ์และจบลงด้วยโซลูชั่นที่มีราคาแพงมาก (SAN หรือ RAID ขนาดใหญ่, หน้าต่างการบำรุงรักษาบ่อยสำหรับการจัดเรียงข้อมูลและการแบ่งพาร์ทิชัน ฯลฯ ) ค่าใช้จ่ายประจำปีของการบำรุงรักษาฐานข้อมูลดังกล่าว ชันเกินไปสำหรับฉัน :)

2. ในที่สุดเราก็มี บริษัท หลายแห่งเช่น Intel, Samsung, FusionIO และอื่น ๆ ที่เพิ่งเริ่มขายฮาร์ดไดรฟ์ SSD ที่รวดเร็ว แต่ราคาไม่แพงโดยใช้เทคโนโลยี SLC Flash ไดรฟ์เหล่านี้เร็วกว่าการอ่าน / เขียนแบบสุ่ม 100 เท่ากว่าฮาร์ดไดรฟ์หมุนที่ดีที่สุดในตลาด (มากถึง 50,000 การเขียนแบบสุ่มต่อวินาที) เวลาในการค้นหาของพวกเขานั้นค่อนข้างศูนย์ดังนั้นค่าใช้จ่ายของ I / O แบบสุ่มจะเหมือนกับค่า I / O ตามลำดับซึ่งยอดเยี่ยมมากสำหรับฐานข้อมูล ไดรฟ์ SSD เหล่านี้มีราคาประมาณ $ 10 - $ 20 ต่อกิกะไบต์และมีขนาดค่อนข้างเล็ก (64GB)

ดังนั้นดูเหมือนว่าจะมีโอกาสที่จะหลีกเลี่ยงค่าใช้จ่ายจำนวนมากในการปรับขนาดฐานข้อมูลด้วยวิธีดั้งเดิมโดยเพียงแค่สร้างไดรฟ์ RAID 5 ขนาดใหญ่พอของไดรฟ์ SSD (ซึ่งจะมีราคาเพียงไม่กี่พันดอลลาร์) จากนั้นเราไม่สนใจว่าไฟล์ฐานข้อมูลมีการแยกส่วนและเราสามารถจ่ายดิสก์ได้มากขึ้น 100 เท่าต่อวินาทีโดยไม่ต้องกระจายฐานข้อมูลทั่ว 100 แกน .

มีใครสนใจเรื่องนี้บ้างไหม? ฉันกำลังทดสอบไดรฟ์ SSD สองสามตัวและสามารถแบ่งปันผลลัพธ์ของฉันได้ หากใครในเว็บไซต์นี้แก้ไขปัญหาคอขวด I / O ของพวกเขาด้วย SSD ฉันชอบที่จะได้ยินเรื่องราวสงครามของคุณ!

PS ฉันรู้ว่ามีทางออกราคาแพงมากมายที่ช่วยในเรื่องความยืดหยุ่นในการปรับขนาดตัวอย่างเช่น SAN ที่ใช้ RAM ที่พิสูจน์แล้ว ฉันต้องการชัดเจนว่าแม้แต่ $ 50K นั้นแพงเกินไปสำหรับโครงการของฉัน ฉันต้องหาวิธีแก้ปัญหาที่ค่าใช้จ่ายไม่เกิน $ 10,000 และไม่ต้องใช้เวลามากในการดำเนินการ

Dave, NXC และ Burly

ขอบคุณสำหรับคำตอบของคุณ! ฉันต้องการชี้แจงว่าคำว่า "ถูก" มีความสำคัญมากในสถานการณ์ของฉัน ดังนั้นฉันต้องใช้เซิร์ฟเวอร์ Dell ราคาถูก ($ 4K 2950 ที่มีธนาคารหน่วยความจำเพียง 8 แห่ง) ฉันติดตั้ง RAM ขนาด 32GB แล้วดังนั้นฉันจึงไม่สามารถปรับขนาดได้ นอกจากนี้การเพิ่ม RAM ไม่ได้ช่วยให้คุณประหยัดจากคอขวด WRITE ซึ่งเป็นปัญหาหลักของฉันในตอนนี้

ฉันเคยกังวลเกี่ยวกับอายุการใช้งานของ SSD แต่หลังจากอ่านเกี่ยวกับอัลกอริธึมการปรับระดับการสึกหรอที่ทันสมัยฉันค่อนข้างมั่นใจว่าไดรฟ์เหล่านี้จะใช้งานได้นานพอ ฐานข้อมูลของฉันเขียน 300GB ต่อวันและคาดว่าจะเกิน 1TB ต่อวันในปี 2009 Enterprise SSD ได้รับการออกแบบมาเพื่อรองรับการเขียนประมาณ 10TB ต่อวันในช่วงหลายปีที่ผ่านมา

ฉันไม่เห็นด้วยกับประเด็นของ Burly ที่ต้องใช้แรงงานจำนวนมากในการโยกย้ายจาก SAS ไปยัง SSD ฐานข้อมูลของฉันคือมิเรอร์ซิงโครนัสดังนั้นฉันสามารถอัปเกรดด้านหนึ่งของมิเรอร์แล้วดูได้สองสามเดือนและถ้ามันระเบิดฉันสามารถ failover ไปยังเซิร์ฟเวอร์ที่สองซึ่งยังมีฮาร์ดไดรฟ์ SAS ที่ดีเก่าอยู่ ...

ปัญหาที่อาจเกิดขึ้น

ฉันมีปัญหาเล็กน้อยเกี่ยวกับการใช้ SSD สำหรับฐานข้อมูลการผลิตในปัจจุบัน

• ธุรกรรมฐานข้อมูลส่วนใหญ่ในเว็บไซต์ส่วนใหญ่ไม่ได้ถูกอ่าน ดังที่ Dave Markle กล่าวว่าคุณเพิ่มประสิทธิภาพการทำงานด้วย RAM ให้สูงที่สุด
• SSD นั้นใหม่สำหรับตลาดหลักและองค์กรและไม่มีผู้ดูแลระบบที่คุ้มค่าที่จะย้ายฐานข้อมูลการผลิตซึ่งปัจจุบันต้องใช้ดิสก์ U320 15K RPM ในการสื่อสาร RAID5 ผ่านระบบส่งสัญญาณไปยังเทคโนโลยีที่ไม่ได้รับการพิสูจน์
• ค่าใช้จ่ายในการวิจัยและทดสอบการย้ายไปใช้เทคโนโลยีใหม่นี้การตรวจสอบในสภาพแวดล้อมของพวกเขาการปรับปรุงขั้นตอนการปฏิบัติงานและอื่น ๆ เป็นค่าใช้จ่ายที่สูงขึ้นทั้งในแง่ของเวลาและเงินกว่าร้านค้าส่วนใหญ่ต้องสำรองไว้

ประโยชน์ที่เสนอ

ที่กล่าวว่ามีจำนวนรายการอย่างน้อยบนกระดาษเพื่อ SSDs ในอนาคต:

• ลดการใช้พลังงานเมื่อเปรียบเทียบกับ HDD
• การสร้างความร้อนต่ำกว่ามาก
• ประสิทธิภาพที่สูงขึ้นต่อวัตต์เมื่อเทียบกับ HDD
• ปริมาณงานที่สูงขึ้นมาก
• เวลาแฝงที่ต่ำกว่ามาก
• SSDs รุ่นปัจจุบันส่วนใหญ่มีคำสั่งการเขียนหลายล้านรอบดังนั้นความทนทานในการเขียนจึงไม่เป็นปัญหาเหมือนเดิม ดูบทความที่ค่อนข้างเก่าได้ที่นี่

ดังนั้นสำหรับเกณฑ์มาตรฐานประสิทธิภาพที่กำหนดเมื่อคุณคำนึงถึงต้นทุนการเป็นเจ้าของทั้งหมดรวมถึงพลังงานโดยตรงและต้นทุนการทำความเย็นทางอ้อม SSD อาจกลายเป็นสิ่งที่น่าสนใจมาก นอกจากนี้ขึ้นอยู่กับสภาพแวดล้อมของคุณการลดจำนวนของอุปกรณ์ที่จำเป็นสำหรับระดับประสิทธิภาพที่กำหนดอาจส่งผลให้ความต้องการพนักงานลดลงลดค่าแรงงาน

ต้นทุนและประสิทธิภาพ

คุณได้เพิ่มว่าคุณมีข้อ จำกัด ด้านต้นทุนภายใต้ $ 50K USD และคุณต้องการเก็บไว้ภายใต้ $ 10K คุณยังได้ระบุไว้ในความคิดเห็นว่าคุณจะได้รับ SSD "ราคาถูก" บางส่วนซึ่งแสดงให้เห็นว่า SSD นั้นจะราคาถูกกว่า DBA หรือที่ปรึกษา สิ่งนี้อาจเป็นจริงขึ้นอยู่กับจำนวนชั่วโมงที่คุณต้องใช้ DBA และไม่ว่าจะเป็นค่าใช้จ่าย reoccuring หรือไม่ ฉันไม่สามารถทำการวิเคราะห์ต้นทุนสำหรับคุณ

อย่างไรก็ตามสิ่งหนึ่งที่คุณต้องระวังคือSSD ชนิดที่คุณได้รับ SSD บางตัวนั้นไม่เท่ากัน SSD ขนาดใหญ่ที่ราคาถูกที่คุณเห็นขายในราคา 200-400 ดอลล่าร์ (2008/11/20) นั้นมีไว้สำหรับสภาพแวดล้อมที่ใช้พลังงาน / ความร้อนต่ำเช่นแล็ปท็อป จริง ๆ แล้วไดรฟ์เหล่านี้มีระดับประสิทธิภาพที่ต่ำกว่าเมื่อเทียบกับ 10K หรือ 15K RPM HDD ไดรฟ์ระดับองค์กรที่มีประสิทธิภาพนักฆ่าที่คุณพูดถึง - เช่นชุด Mtron Pro - มีราคาแพงมาก ขณะนี้พวกเขาอยู่รอบ ๆ :

• 400 USD สำหรับ 16GB
• 900 USD สำหรับ 32GB
• 1,400 USD สำหรับ 64GB
• 3,200 USD สำหรับ 128GB

ขึ้นอยู่กับความต้องการพื้นที่ประสิทธิภาพและความซ้ำซ้อนของคุณคุณสามารถสร้างงบประมาณได้อย่างง่ายดาย

ตัวอย่างเช่นหากความต้องการของคุณจำเป็นต้องมีพื้นที่เก็บข้อมูลที่พร้อมใช้งานรวม 128GB ดังนั้น RAID 0 + 1/10 หรือ RAID 5 ที่มีฮอตสปอต 1 แห่งจะอยู่ที่ ~ $ 5600

หากคุณต้องการพื้นที่เก็บข้อมูลที่พร้อมใช้งาน TB อย่างไรก็ตาม RAID 0 + 1/10 จะเป็น ~ $ 51K และ RAID 5 ที่มีฮอตสปอต 2 แห่งจะอยู่ที่ ~ $ 32K

รูปภาพขนาดใหญ่

ที่กล่าวว่าการติดตั้งการกำหนดค่าและการบำรุงรักษาฐานข้อมูลการผลิตขนาดใหญ่นั้นต้องการบุคคลที่มีทักษะสูง ข้อมูลภายในฐานข้อมูลและบริการจากข้อมูลนั้นมีมูลค่าสูงมากสำหรับ บริษัท ที่มีข้อกำหนดด้านประสิทธิภาพในระดับนี้ นอกจากนี้ยังมีหลายสิ่งที่ไม่สามารถแก้ไขได้ด้วยการขว้างฮาร์ดแวร์ที่เป็นปัญหา DBMS ที่กำหนดค่าไม่ถูกต้องสกีมาฐานข้อมูลที่ไม่ดีหรือกลยุทธ์การจัดทำดัชนีสามารถ / wreck / ประสิทธิภาพของฐานข้อมูลได้ ดูปัญหาที่ Stackoverflow ประสบในการโยกย้ายไปยัง SQL Server 2008 ที่นี่และที่นี่. ความจริงของเรื่องนี้คือฐานข้อมูลเป็นแอพพลิเคชั่นที่มีพลังในดิสก์ไม่เพียง แต่เป็น RAM และ CPU เช่นกัน การปรับสมดุลของปัญหาประสิทธิภาพการทำงานที่หลากหลายพร้อมกับความสมบูรณ์ของข้อมูลความปลอดภัยความซ้ำซ้อนและการสำรองข้อมูลเป็นเรื่องยุ่งยากเล็กน้อย

โดยสรุปในขณะที่ฉันคิดว่าการปรับปรุงใด ๆ และทั้งหมดของทั้งฮาร์ดแวร์และซอฟต์แวร์ได้รับการต้อนรับจากชุมชนการบริหารฐานข้อมูลขนาดใหญ่ - เช่นการพัฒนาซอฟต์แวร์ - เป็นปัญหาที่ยากและจะต้องใช้แรงงานที่มีทักษะ การปรับปรุงที่ได้รับอาจไม่เกี่ยวกับค่าใช้จ่ายในการลดแรงงานที่คุณหรือ บริษัท อาจคาดหวัง

เป็นจุดที่ดีกระโดดสำหรับการวิจัยบางคนอาจจะ Brent Ozar เว็บไซต์ของ / บล็อกที่นี่ คุณอาจรู้จักชื่อของเขา - เขาเป็นคนที่ช่วยลูกเรือ stackoverflow ด้วยปัญหาด้านประสิทธิภาพของ MS SQL Server 2008 บล็อกและแหล่งข้อมูลของเขาเขาเชื่อมโยงเพื่อนำเสนอความกว้างและความลึก

ปรับปรุง

Stackoverflow กำลังเดินทางไปตามเส้นทาง SSD ของผู้บริโภคสำหรับการจัดเก็บ อ่านเกี่ยวกับที่นี่: http://blog.serverfault.com/post/our-storage-decision/

อ้างอิง

• http://www.storagesearch.com/ssdmyths-endurance.html
• http://www.brentozar.com/archive/2008/10/sql-2008-upgrade-tuning-for-stackoverflowcom/
• http://blog.stackoverflow.com/2008/11/sql-2008-full-text-search-problems/

หากคุณมีไซต์ที่มีปริมาณการใช้งานสูงมากซึ่งสามารถได้รับประโยชน์จาก SSD สำหรับการเพิ่มประสิทธิภาพการเขียนคุณอาจจะมีปัญหากับอายุการใช้งานของ SSD ดังนั้นฉันยังไม่ได้ขายมัน

เมื่อทราบแล้วจะทำอย่างไรกับฐานข้อมูลที่มีการอ่านระดับสูง คำตอบนั้นง่าย: ติดขัดเซิร์ฟเวอร์ด้วย RAM ให้มากที่สุดเท่าที่จะทำได้ คุณจะพบว่าตารางที่ร้อนแรงที่สุดนั้นจะถูกเก็บไว้ในแคช RAM อยู่ตลอดเวลาและการเข้าสู่ดิสก์ขนาดใหญ่อาจเป็นเพราะการสแกนตารางขนาดใหญ่หรือดัชนีซึ่งมักจะสามารถปรับให้เหมาะกับการจัดทำดัชนีที่เหมาะสม

ฉันทำงานเป็น DBA มานานกว่า 5 ปีและการคิดหาวิธีในการปรับปรุงประสิทธิภาพของฐานข้อมูลอยู่ที่ด้านหลังของฉันเสมอ ฉันได้ดูพื้นที่ SSD แล้วและฉันคิดว่าพวกเขามีทางเลือกมากขึ้นเรื่อย ๆ

ลองดู;

http://i.gizmodo.com/5166798/24-solid-state-drives-open-all-of-microsoft-office-in-5-seconds

นอกจากนี้ยังมีผลิตภัณฑ์ใหม่ที่ผลิตโดย Acard ที่เรียกว่า ANS-9010 ซึ่งเป็นรุ่นปรับปรุงของ GC-Ramdisc ซึ่งช่วยให้คุณใช้ DDR2 ram ในการสร้าง SATA Drive (สูงสุด 64gig) โดยใช้ DDR2 sticks ที่มีทฤษฎี 400MB / s สูงสุด.

http://techreport.com/articles.x/16255/3

^^ แต่สิ่งอื่น ๆ ที่มีประโยชน์ในบทความนั้นคือมันเปรียบเทียบ ANS-9010 กับผู้เล่นทุกคนในตลาด SSD และปรากฎว่า Intel มี 64GB x25-E SSD ซึ่งค่อนข้างคล้ายกับการมี ramdisk ฮาร์ดแวร์

สิ่งที่จะทำให้ฉันกังวลเกี่ยวกับ SSD นั้นคือการทำให้พวกเขาหมดความตึงเครียดที่ฐานข้อมูลขนาดใหญ่จะทำให้พวกเขาผ่านและดังนั้นคุณจะต้องใช้การจู่โจมเพื่อสะท้อนให้เห็นถึงไดรฟ์ซึ่งหมายความว่าคุณจ่ายเงินสองเท่า

และข้อเสียของ ramdisk ของฮาร์ดแวร์ก็คือแบตเตอรี่ในกรณีของการตัดไฟจะจ่ายไฟให้นานเท่านั้นดังนั้นคุณจะต้องหาวิธีที่แปลกใหม่ในการสำรองข้อมูล ฉันเชื่อว่าคุณสามารถซื้อปลั๊กไฟหลักสำหรับพวกเขาได้ แต่นั่นก็ยังต้องอาศัย UPS ของคุณ

ฉันขอแนะนำให้คุณใช้ ram disk ของฮาร์ดแวร์สำหรับไฟล์ temp DB และ windows swap และใส่ฐานข้อมูลใน Intel X25-E Extreme (ประมาณ 600 USD สำหรับ 64 gig)

อย่างไรก็ตามมันจะกรีดร้องและทำให้พวกเราที่เหลือทั้งหมดอิจฉามาก

(โปรดพิจารณาใช้ ANS-9010 อื่นเพื่อโฮสต์เว็บไซต์)

ไชโยเดฟ

เราเพิ่งรวบรวมเซิร์ฟเวอร์ w2k3 r2 64 บิต Sql 2008 บนคู่ 2.5in Seagate Momentus XT ไฮบริดมิเรอร์ - 1/4 จังหวะสำหรับระบบปฏิบัติการและ 1/4 จังหวะสำหรับ DB ดังนั้นการใช้ 125GB สำหรับระบบปฏิบัติการและ 125GB สำหรับฐานข้อมูล ได้รับ 1500MB / s ถึง 1900MB / s อ่าน seq ใน Intel i7 2600K 3.4Ghz 8GB

มีผลิตภัณฑ์ในตลาดเช่นอันนี้ทำสิ่งนี้ เช่นเดียวกับที่ผู้โพสต์คนอื่นพูดว่าการเพิ่ม RAM พิเศษลงในเซิร์ฟเวอร์ DB จะทำให้คุณมีอัตราการเข้าถึงแคชที่ดีขึ้นซึ่งจะลดปริมาณการใช้ดิสก์

เซิร์ฟเวอร์ Opteron 8 ซ็อกเก็ตเช่นSun X4600จะช่วยให้คุณใส่ RAM ได้ถึง 256GB ในราคาที่ยังคงถูกกว่าทีม DBA ขนาดใหญ่ คุณสามารถลองใช้ไฟล์แฟลตไฟล์แทนที่จะเป็น DBMS (เหมือนที่บริษัททำ) ซึ่งจะให้ประสิทธิภาพที่ดีกว่า DBMS ในกรณีนี้ SAN จะให้ระดับความถูกต้องของข้อมูล อย่างไรก็ตามคุณจะต้องออกแบบกลยุทธ์การเข้าถึงข้อมูลอย่างระมัดระวังเพื่อหลีกเลี่ยงความสับสน เห็นได้ชัดว่ามีชุด dot-com จำนวนมากจำนวนมากทำเช่นนี้ มันมีประสิทธิภาพมากกว่า DBMS ช่วยให้ฮาร์ดแวร์สำหรับคนเดินเท้าสามารถรับภาระจำนวนมากและหลีกเลี่ยงค่าธรรมเนียมใบอนุญาตของ DBMS

ไดรฟ์ SSD ใช้หน่วยความจำแฟลช NAND (MLC หรือ SLC) หากคุณกำลังซื้อไดรฟ์ SSD ในรูปแบบ SATA (2 หรือ 3) คุณกำลัง จำกัด ประสิทธิภาพที่คุณสามารถทำได้ โดยทั่วไปแล้วไดรฟ์ SSD ที่ใช้ตัวควบคุม SF-1200 ของ Sandforce ที่รวดเร็วจะให้ความเร็วในการอ่าน 220MB / วินาทีและการเขียน 205MB / วินาทีเร็วกว่าดิสก์หมุนแบบกลทั่วไป

อย่างไรก็ตามถ้าคุณย้ายไปยังโซลูชัน PCIe เช่น FusioIO นั่นไม่ได้มีตัวเชื่อมต่อ SATA 2 หรือ SATA 3 ที่ช้าคุณกำลังมองหาวิธีแก้ปัญหาที่เร็วกว่า 10-50 เท่าของวัวเชิงกลหมุน (ฉันหมายถึงดิสก์)

ดังนั้นสำหรับโซลูชัน "ราคาถูก" ของคุณไปกับ SATA 2/3 SDD ที่ใช้ตัวควบคุม Sandforce SF-1200 สิ่งนี้จะทำให้คุณมีการปรับปรุงความเร็วสูงขึ้นประมาณ 3-5 เท่า (จากประสบการณ์การใช้งานจริง) หากคุณมีงบประมาณให้ไปหา FusioIO ไม่มีอะไรจะเอาชนะได้ในแง่ของประสิทธิภาพ มันเร็วเมามัน คาดว่าจะใช้จ่าย $ 20,000 ถึง $ 50,000