Bigtable
ระบบจัดเก็บข้อมูลแบบกระจายสำหรับข้อมูลที่มีโครงสร้าง
Bigtable เป็นระบบจัดเก็บข้อมูลแบบกระจาย (สร้างโดย Google) สำหรับการจัดการข้อมูลที่มีโครงสร้างที่ออกแบบมาเพื่อปรับขนาดให้ใหญ่ขนาด: เพตาไบต์ของข้อมูลในเซิร์ฟเวอร์สินค้าโภคภัณฑ์นับพัน
หลายโครงการที่ Google เก็บข้อมูลไว้ใน Bigtable รวมถึงการทำดัชนีเว็บ Google Earth และ Google Finance แอปพลิเคชันเหล่านี้มีความต้องการที่แตกต่างกันมากใน Bigtable ทั้งในแง่ของขนาดข้อมูล (จาก URL ไปยังหน้าเว็บไปยังภาพถ่ายจากดาวเทียม) และความต้องการเวลาแฝง (จากการประมวลผลแบ็กเอนด์จำนวนมากไปจนถึงการให้บริการข้อมูล
แม้จะมีความต้องการที่หลากหลายเหล่านี้ Bigtable ได้มอบโซลูชั่นที่มีความยืดหยุ่นและประสิทธิภาพสูงสำหรับผลิตภัณฑ์ Google เหล่านี้ทั้งหมด
คุณสมบัติบางอย่าง
- DBMS ที่รวดเร็วและมีขนาดใหญ่มาก
- แผนที่ที่กระจัดกระจายกระจายหลายมิติกระจายคุณลักษณะของทั้งฐานข้อมูลแถวและฐานข้อมูลเชิงคอลัมน์
- ออกแบบมาเพื่อปรับขนาดให้อยู่ในช่วงเพตาไบต์
- มันทำงานได้หลายร้อยหรือหลายพันเครื่อง
- มันง่ายที่จะเพิ่มเครื่องจักรเข้าสู่ระบบและเริ่มใช้ประโยชน์จากทรัพยากรเหล่านั้นโดยอัตโนมัติโดยไม่ต้องทำการตั้งค่าใหม่
- แต่ละตารางมีหลายมิติ (หนึ่งในนั้นคือฟิลด์สำหรับเวลาอนุญาตให้กำหนดเวอร์ชัน)
- ตารางได้รับการปรับให้เหมาะกับ GFS (Google File System) โดยแบ่งออกเป็นหลายแท็บเล็ต - แบ่งส่วนของตารางเป็นแบ่งตามแถวที่เลือกเพื่อให้แท็บเล็ตมีขนาดประมาณ 200 เมกะไบต์
สถาปัตยกรรม
BigTable ไม่ใช่ฐานข้อมูลเชิงสัมพันธ์ ไม่รองรับการเชื่อมต่อและไม่รองรับการสืบค้นที่คล้ายกับ SQL แต่ละตารางเป็นแผนที่กระจัดกระจายหลายมิติ ตารางประกอบด้วยแถวและคอลัมน์และแต่ละเซลล์มีการประทับเวลา อาจมีหลายรุ่นของเซลล์ที่มีการประทับเวลาที่แตกต่างกัน การประทับเวลาอนุญาตให้ใช้งานเช่น "select 'n' รุ่นของเว็บเพจนี้" หรือ "ลบเซลล์ที่เก่ากว่าวันที่ / เวลาที่ระบุ"
เพื่อจัดการตารางขนาดใหญ่ Bigtable แยกตารางที่ขอบเขตแถวและบันทึกเป็นแท็บเล็ต แท็บเล็ตมีขนาดประมาณ 200 MB และแต่ละเครื่องจะบันทึกได้ประมาณ 100 เม็ด การตั้งค่านี้อนุญาตให้แท็บเล็ตกระจายจากตารางเดียวไปยังเซิร์ฟเวอร์อื่น ๆ นอกจากนี้ยังช่วยให้สมดุลภาระที่ละเอียด หากตารางหนึ่งได้รับข้อความค้นหาจำนวนมากสามารถส่งแท็บเล็ตอื่นหรือย้ายตารางไม่ว่างไปยังเครื่องอื่นที่ไม่ว่าง นอกจากนี้หากเครื่องหยุดทำงานแท็บเล็ตอาจกระจายไปทั่วเซิร์ฟเวอร์อื่น ๆ เพื่อให้ประสิทธิภาพการทำงานของเครื่องใด ๆ ลดน้อยลง
ตารางจะถูกจัดเก็บเป็น SSTables ที่ไม่เปลี่ยนรูปแบบและส่วนท้ายของบันทึก (หนึ่งบันทึกต่อเครื่อง) เมื่อเครื่องไม่มีหน่วยความจำระบบจะบีบอัดแท็บเล็ตบางส่วนโดยใช้เทคนิคการบีบอัดข้อมูลที่เป็นกรรมสิทธิ์ของ Google (BMDiff และ Zippy) การบีบอัดเล็กน้อยเกี่ยวข้องกับแท็บเล็ตเพียงไม่กี่เม็ดในขณะที่การบีบอัดสำคัญเกี่ยวข้องกับระบบตารางทั้งหมดและกู้คืนพื้นที่ว่างในฮาร์ดดิสก์
ตำแหน่งของแท็บเล็ต Bigtable จะถูกเก็บไว้ในเซลล์ การค้นหาแท็บเล็ตโดยเฉพาะนั้นได้รับการจัดการโดยระบบสามระดับ ลูกค้าได้รับคะแนนจากตาราง META0 ซึ่งมีเพียงตารางเดียว ตาราง META0 ติดตามแท็บเล็ต META1 จำนวนมากที่มีตำแหน่งของแท็บเล็ตที่ค้นหาอยู่ ทั้ง META0 และ META1 ใช้การดึงข้อมูลล่วงหน้าและแคชอย่างหนักเพื่อลดปัญหาคอขวดในระบบ
การดำเนินงาน
BigTable สร้างขึ้นในGoogle File System (GFS) ซึ่งใช้เป็นที่เก็บข้อมูลสำรองสำหรับไฟล์บันทึกและข้อมูล GFS จัดเก็บข้อมูลที่เชื่อถือได้สำหรับ SSTables ซึ่งเป็นรูปแบบไฟล์ที่เป็นกรรมสิทธิ์ของ Google ที่ใช้เพื่อเก็บข้อมูลตาราง
บริการอื่นที่ BigTable ใช้งานหนักคือChubbyบริการล็อคแบบกระจายที่มีความน่าเชื่อถือสูง Chubby อนุญาตให้ลูกค้าทำการล็อคซึ่งอาจเชื่อมโยงกับข้อมูลเมตาบางตัวซึ่งสามารถต่ออายุได้โดยส่งข้อความที่มีชีวิตกลับไปที่ Chubby การล็อคถูกเก็บไว้ในโครงสร้างการตั้งชื่อตามลำดับชั้นที่คล้ายกับระบบไฟล์
มีเซิร์ฟเวอร์หลักสามประเภทที่น่าสนใจในระบบ Bigtable:
- เซิร์ฟเวอร์หลัก: กำหนดแท็บเล็ตให้กับเซิร์ฟเวอร์แท็บเล็ตติดตามตำแหน่งของแท็บเล็ตและกระจายงานตามที่ต้องการ
- เซิร์ฟเวอร์แท็บเล็ต: จัดการคำขออ่าน / เขียนสำหรับแท็บเล็ตและแท็บเล็ตแยกเมื่อเกินขีด จำกัด ขนาด (ปกติคือ 100MB - 200MB) หากเซิร์ฟเวอร์แท็บเล็ตล้มเหลวเซิร์ฟเวอร์แท็บเล็ต 100 เครื่องจะรับ 1 แท็บเล็ตใหม่และระบบกู้คืน
- เซิร์ฟเวอร์ล็อค: อินสแตนซ์ของบริการล็อคแบบกระจาย Chubby การทำงานหลายอย่างใน BigTable ต้องการการล็อครวมถึงการเปิดแท็บเล็ตสำหรับการเขียนเพื่อให้แน่ใจว่าไม่มี Master ที่ใช้งานอยู่มากกว่าหนึ่งคนในแต่ละครั้งและการตรวจสอบการควบคุมการเข้าถึง
ตัวอย่างจากรายงานการวิจัยของ Google:
ส่วนหนึ่งของตารางตัวอย่างที่เก็บเว็บเพจ ชื่อแถวคือ
URL ที่กลับด้าน ตระกูลคอลัมน์เนื้อหามีเนื้อหาของหน้าและตระกูลคอลัมน์จุดยึดมี
ข้อความของจุดยึดใด ๆที่อ้างอิงหน้า หน้าแรกของซีเอ็นเอ็นถูกอ้างอิงโดยทั้งปอและหน้าบ้านของฉันมองเพื่อให้แถวที่มีคอลัมน์ชื่อ
และanchor:cnnsi.com
anchor:my.look.caเซลล์สมอแต่ละคนมีรุ่นหนึ่ง ; คอลัมน์เนื้อหามีสามรุ่นที่ timestamps
t3, และt5t6
API
การดำเนินการตามปกติกับ BigTable คือการสร้างและการลบตารางและตระกูลคอลัมน์การเขียนข้อมูลและการลบคอลัมน์จากแถว BigTable ให้ฟังก์ชันนี้แก่ผู้พัฒนาแอปพลิเคชันใน API ธุรกรรมได้รับการสนับสนุนในระดับแถว แต่ไม่สามารถใช้ได้กับแป้นแถวหลายแถว
นี่คือการเชื่อมโยงไปยังไฟล์ PDF กระดาษวิจัย
และที่นี่คุณสามารถค้นหาวิดีโอที่แสดง Jeff Dean ของ Google ในการบรรยายที่ University of Washingtonโดยพูดคุยเกี่ยวกับระบบจัดเก็บเนื้อหา Bigtable ที่ใช้ในแบ็กเอนด์ของ Google
