Mysql: สร้างดัชนีใน 1.4 พันล้านบันทึก

ฉันมีตารางที่มี 1.4 พันล้านบันทึก โครงสร้างของตารางมีดังนี้:

CREATE TABLE text_page (
    text VARCHAR(255),
    page_id INT UNSIGNED
) ENGINE=MYISAM DEFAULT CHARSET=ascii

textความต้องการคือการสร้างดัชนีมากกว่าคอลัมน์

ขนาดโต๊ะประมาณ 34G

ฉันพยายามสร้างดัชนีโดยคำสั่งต่อไปนี้:

ALTER TABLE text_page ADD KEY ix_text (text)

หลังจากรอ 10 ชั่วโมงในที่สุดฉันก็ยอมแพ้วิธีนี้

มีวิธีแก้ปัญหาที่ใช้การได้กับปัญหานี้หรือไม่?

UPDATE : ตารางไม่น่าจะถูกปรับปรุงหรือแทรกหรือลบ สาเหตุที่สร้างดัชนีในคอลัมน์textเป็นเพราะแบบสอบถามชนิดนี้จะถูกเรียกใช้งานบ่อย:

SELECT page_id FROM text_page WHERE text = ?

UPDATE : ฉันได้แก้ไขปัญหาด้วยการแบ่งตาราง

ตารางจะแบ่งออกเป็น 40 textชิ้นในคอลัมน์ จากนั้นการสร้างดัชนีบนตารางจะใช้เวลาประมาณ 1 ชั่วโมงจึงจะเสร็จสมบูรณ์

ดูเหมือนว่าการสร้างดัชนี MySQL ช้ามากเมื่อขนาดของตารางใหญ่มาก และการแบ่งพาร์ติชั่นช่วยลดตารางให้เล็กลง

มันอาจเป็นระบบของคุณไม่ได้ขึ้นอยู่กับงานหรือไม่ ฉันไม่ได้ใช้ MySQL (SQL Server ที่นี่) แต่ฉันรู้ถึงความเจ็บปวดของการทำดัชนีตารางรายการ 800 ล้าน โดยทั่วไป .... คุณต้องการฮาร์ดแวร์ที่เหมาะสมสำหรับสิ่งนั้น (เช่นเดียวกับ: ดิสก์ที่เร็วจำนวนมาก) ตอนนี้ฉันใช้ Velociraptors เกือบโหลและการแสดงยอดเยี่ยม;)

เซิร์ฟเวอร์ SQL (ไม่ใช่ MS SQL Server แต่เป็นเซิร์ฟเวอร์ฐานข้อมูลที่ใช้ SQL) อยู่และตายด้วยการเข้าถึงดิสก์และดิสก์ปกติไม่เพียงขึ้นอยู่กับภารกิจของการดำเนินงานขนาดใหญ่

คุณอาจต้องการสร้างดัชนีในอักขระแรก (ตัวอย่างเช่น 10) ของฟิลด์ข้อความ

จากเอกสาร:

สามารถสร้างดัชนีที่ใช้เฉพาะส่วนนำของค่าคอลัมน์โดยใช้ไวยากรณ์ col_name (ความยาว) เพื่อระบุความยาวของคำนำหน้าดัชนี:

CREATE INDEX ix_text ON text_page (text(10))

ฉันแก้ไขปัญหาด้วยการแบ่งตาราง

ตารางจะแบ่งออกเป็น 40 textชิ้นในคอลัมน์ จากนั้นการสร้างดัชนีบนตารางจะใช้เวลาประมาณ 1 ชั่วโมงจึงจะเสร็จสมบูรณ์

ดูเหมือนว่าการสร้างดัชนี MySQL ช้ามากเมื่อขนาดของตารางใหญ่มาก และการแบ่งพาร์ติชั่นช่วยลดตารางให้เล็กลง

ตั้งค่า sort_buffer_size เป็น 4GB (หรือคุณสามารถขึ้นอยู่กับว่าคุณมีหน่วยความจำเท่าใด)

ตอนนี้การสร้างดัชนีกำลังทำการเรียงลำดับ แต่เนื่องจากคุณมี sort_buffer_size ขนาด 32 MB มันเป็นเรื่องที่ทยอยฮาร์ดไดรฟ์โดยไม่จำเป็น

หากคุณไม่ต้องการสอบถามเช่น:

SELECT page_id FROM text_page WHERE text LIKE '?%';

ฉันขอแนะนำให้สร้างคอลัมน์แฮชใหม่และทำดัชนีตารางตามคอลัมน์ ขนาดส่วนเกินของตาราง + ดัชนีอาจมีขนาดเล็กกว่ามาก

UPD : ยังไงก็ตามเลขจำนวนเต็มหลัก 1.4 พันล้านตัวใช้เวลาประมาณ 6 GB นั่นคือความยาวโดยเฉลี่ยของสตริงนั้นมีน้อยกว่า 30 ตัวอักษรนั่นคือการสร้างดัชนีในคำนำหน้าอาจเป็นที่นิยมมากกว่า

คุณควรดูที่เครื่องมือจัดเก็บข้อมูลของMERGE

วิธีหนึ่งในการทำเช่นนี้คือการสร้างตารางใหม่ด้วยชุดดัชนีและคัดลอกข้อมูลไปยังตารางใหม่

นอกจากนี้ตรวจสอบให้แน่ใจว่าคุณมีพื้นที่ชั่วคราวเพียงพอ

ในกรณีที่คุณยังสงสัยว่าจะทำอย่างไรให้ดีที่สุดฉันขอแนะนำให้คุณใช้เครื่องมือแก้ไขตารางออนไลน์

มีหลายคนบนอินเทอร์เน็ตหนึ่งในคนดังคือ:

• การเปลี่ยนแปลงสกีมาออนไลน์ของ Percona (ฉันใช้อันนี้)
  http://www.percona.com/doc/percona-toolkit/2.2/pt-online-schema-change.html
• Facebook OSC ฉันไม่พบ URL ที่คุณสามารถดาวน์โหลดได้

เรามีปัญหาเดียวกันกับตารางขนาดใหญ่ (มากกว่า 500mil บันทึก) และการเปลี่ยนแปลงที่สมบูรณ์แบบ มันสร้างตาราง tmp ใหม่เพิ่มทริกเกอร์ในตารางเดิม (สำหรับบันทึกใหม่ update / ลบ / แทรก) และในเวลาเฉลี่ยมันจะคัดลอกระเบียนทั้งหมดไปยังตารางใหม่ (ด้วยโครงสร้างใหม่)

โชคดี!