บริการที่มีอัตราการนำเข้าขนาดใหญ่ติดตั้งฮาร์ดดิสก์ให้เร็วพอได้อย่างไร

Amazon, Facebook และ Google ต้องใช้ TB ถ้าไม่ใช่ PBs ต่อวันดังนั้นหมายความว่าพวกเขามีคนติดตั้งฮาร์ดดิสก์และสายเคเบิลใหม่อย่างต่อเนื่องในชั้นวางใหม่ในลักษณะเดียวกับที่คุณอาจสร้างเซิร์ฟเวอร์ปกติหรือมีเทคโนโลยีที่แตกต่างกัน สำหรับการเชื่อมต่อไดรฟ์ en masse?

ฉันไม่ทราบว่ามีหนึ่งในนั้นติดตั้งฮาร์ดแวร์ทีละเซิร์ฟเวอร์ ย้อนกลับไปในปี 2008 MS เริ่มสร้างศูนย์ข้อมูลด้วยการให้เซิร์ฟเวอร์ส่งมอบในภาชนะบรรจุแบบปิดผนึกและแบบใช้สายล่วงหน้าของเซิร์ฟเวอร์ที่พวกเขาต้องการเพียงการขนถ่ายจากรถบรรทุกและปลั๊กไฟ / การเชื่อมต่อเครือข่ายเข้า ในขณะที่ 08 build เป็นส่วนผสมของภาชนะบรรจุและแบบดั้งเดิมสำหรับดาต้าเซ็นเตอร์ล่าสุดของพวกเขาพวกเขาได้ไปที่การออกแบบสำเร็จรูปแบบกำหนดเองที่ทนต่อสภาพอากาศและไม่จำเป็นต้องอยู่ภายในอาคารแยกต่างหาก

ทั้งHP และ IBMขายแพ็คเกจที่คล้ายกันด้วยคอนเทนเนอร์ที่สร้างไว้ล่วงหน้าซึ่งเต็มไปด้วยเซิร์ฟเวอร์ที่ต้องการการเชื่อมต่อพลังงาน / ข้อมูลเพื่อนำไปใช้งาน

Google มีเทคโนโลยีหลายอย่างที่พวกเขาพัฒนาขึ้นภายในเพื่อเก็บข้อมูลจำนวนมหาศาลเหล่านี้ การใช้เทคโนโลยีเหล่านี้พวกเขาสามารถเพิ่มโหลดฮาร์ดดิสก์ลงในคลัสเตอร์ได้โดยไม่ต้องหยุดทำงาน แต่ใช่ว่าพวกเขายังต้องการคนทำเช่นนั้น

เท่าที่ฉันรู้จากบล็อกของ Google สองส่วนหลักคือระบบไฟล์ของ Google ซึ่งเป็นระบบไฟล์แบบกระจายที่สามารถขยายได้ในระดับที่ใหญ่มากจริงๆ: ระบบไฟล์ของ Google

และด้านบนของ Google File System พวกเขามี Big Table ซึ่งเป็นฐานข้อมูล Key Value บางประเภทและยังขยายเป็นเกล็ดขนาดใหญ่: Big Table

สำหรับการรับประกันความพร้อมใช้งานสูงทุกอย่างซ้ำซ้อนหลายครั้งส่วนใหญ่มากกว่า 3 ครั้ง

ถูกต้องแม่นยำ ฉันจำได้ว่าครั้งหนึ่งที่ศูนย์ข้อมูลของ Facebook เพิ่มรถพ่วงรถแทรกเตอร์สามคันซึ่งเต็มไปด้วยฮาร์ดไดรฟ์และเซิร์ฟเวอร์แบบแร็คเมาท์ในหนึ่งวัน แน่นอนว่าพวกเขามีแผนการที่ซับซ้อนเพื่อให้การจัดเก็บปรับขนาดและซ้ำซ้อน Google เช่นมีระบบสศค Facebook มีศูนย์ข้อมูลสามแห่งสำหรับอุปกรณ์ของพวกเขาแต่ละแห่งมีขนาดใหญ่กว่าสองแห่งของ Wal-Marts และอีกแห่งหนึ่งวางแผนที่จะใหญ่กว่าศูนย์ที่มีอยู่เดิมสี่เท่า

ด้วยโซลูชันการจัดเก็บข้อมูล Open Compute รุ่นใหม่ที่สามารถบรรจุดิสก์ขนาด 180 TB ใน 4 แร็คยูนิต PB ไม่ได้เป็นพื้นที่ขนาดใหญ่จริงๆ: การเพิ่ม 1PB ต่อวันจะหมายถึงการวางเซิร์ฟเวอร์ 5 ตัวต่อวันไม่ใช่ปัญหาใหญ่ ยังดีกว่าสิ่งเหล่านี้สามารถมีได้ประมาณ $ 10K ซึ่งหมายความว่าคุณจ่ายน้อยกว่า $ 60 ต่อ TB

ดังนั้นใช่เทคโนโลยีมีให้เราทุกคนทำเช่นเดียวกันในราคาที่ไม่ทำลายธนาคาร

แต่คุณต้องจำไว้ว่า บริษัท ขนาดใหญ่มักจะได้รับข้อตกลงที่ดีกว่าและลงนามสัญญาจำนวนมากเพื่อจัดหาพื้นที่เก็บข้อมูลจำนวนมาก พวกเขาอาจได้รับสินค้าจำนวนน้อยกระจายไปทั่วปี แต่มันไม่เหมือนที่พวกเขาสั่งเพียง 1PB ในเวลา

นี่คือโพสต์บล็อกที่น่าสนใจจาก BackBlaze เกี่ยวกับวิธีที่พวกเขาทำ (พวกเขาอาจไม่ต้องการดิสก์มากเท่ากับ Google หรือ Facebook แต่ยังคงเป็น lt ทั้งหมด) และสิ่งที่พวกเขาต้องทำเมื่อเกิดน้ำท่วมในประเทศไทยซึ่งทำให้ฮาร์ดดิสก์ แพงและยากที่จะได้รับโดย:

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/