การปรับเปลี่ยนคอลัมน์ของตาราง mysql ที่มีขนาดใหญ่มากซึ่งมีการหยุดทำงานเพียงเล็กน้อยหรือไม่มีเลย

ฉันจำเป็นต้องทำการเปลี่ยนแปลงตารางเป็นระยะใน mysql 5.1 ส่วนใหญ่เป็นการเพิ่มคอลัมน์ ง่ายมากด้วยคำสั่งแก้ไขตาราง แต่ตอนนี้ตารางของฉันมีมากถึง 40 ล้านแถวและพวกมันกำลังเติบโตอย่างรวดเร็ว ... ดังนั้นคำสั่งเปลี่ยนตารางเหล่านั้นใช้เวลาหลายชั่วโมง ในอีกสองสามเดือนพวกเขาจะใช้เวลาหลายวันที่ฉันคาดเดา

เนื่องจากฉันใช้ amazon RDS ฉันไม่สามารถมีเซิร์ฟเวอร์ทาสให้เล่นแล้วเลื่อนระดับเป็นโทได้ ดังนั้นคำถามของฉันคือถ้ามีวิธีการทำเช่นนี้ด้วยการหยุดทำงานน้อยที่สุด? ฉันไม่รังเกียจการดำเนินการที่ใช้เวลาเป็นชั่วโมงหรือเป็นวันถ้าผู้ใช้ยังคงสามารถใช้ฐานข้อมูลได้ ... อย่างน้อยพวกเขาสามารถอ่านได้ในขณะที่กำลังเพิ่มคอลัมน์หรือไม่? จะเกิดอะไรขึ้นถ้าแอพของฉันพยายามเขียน แทรกหรืออัปเดต ถ้ามันล้มเหลวทันทีนั่นก็ไม่เลวจริง ๆ ถ้ามันแค่แฮงค์และทำให้เกิดปัญหากับเซิร์ฟเวอร์ db นั่นเป็นปัญหาใหญ่ ..

นี่ต้องเป็นปัญหาเกี่ยวกับการปรับสเกลทั่วไปทุกคนต้องเพิ่มคอลัมน์ .. โดยทั่วไปแล้วฐานข้อมูลการผลิตจะทำอย่างไร Slave -> การย้ายข้อมูลหลักหรือไม่

อัปเดต - ฉันลืมที่จะพูดถึงฉันใช้เครื่องมือจัดเก็บข้อมูล Innodb

ฉันจำเป็นต้องทำการเปลี่ยนแปลงตารางเป็นระยะใน mysql 5.1 ส่วนใหญ่เป็นการเพิ่มคอลัมน์

อย่า ไม่มีจริงๆ. ทำไม่ได้ มันควรจะเป็นโอกาสที่หายากมากเมื่อนี้คือเคยจำเป็น

สมมติว่าข้อมูลของคุณเป็นแบบปกติที่จะเริ่มต้นด้วยวิธีที่ถูกต้องในการแก้ไขปัญหาคือการเพิ่มตารางใหม่ที่มีความสัมพันธ์แบบ 1: 1 เข้ากับตารางฐาน

การเพิ่มคอลัมน์เป็นประจำจะเป็นตัวบ่งชี้ฐานข้อมูลที่ไม่ได้ทำให้เป็นมาตรฐาน - หากสคีมาของคุณไม่ได้ทำให้เป็นมาตรฐานแล้วนั่นคือปัญหาที่คุณต้องแก้ไข

สุดท้ายถ้าสคีมาของคุณเป็นมาตรฐานจริงๆและคุณต้องเพิ่มคอลัมน์ต่อไป:

1. ตรวจสอบให้แน่ใจว่าคุณมีคอลัมน์เวลาประทับบนฐานข้อมูลหรือกำลังสร้างบันทึกการจำลองแบบ
2. สร้างสำเนา (B) ของตาราง (A)
3. เพิ่มคอลัมน์ใหม่ใน B (จะยังคงบล็อกด้วย myisam)
4. ปิดการใช้งานการทำธุรกรรม
5. เปลี่ยนชื่อตารางต้นฉบับ (A) เป็นอย่างอื่น (สำรอง)
6. เปลี่ยนชื่อตารางใหม่ (B) ด้วยชื่อของตารางเดิม (A)
7. เล่นซ้ำธุรกรรมจากจุดเริ่มต้นของการดำเนินการจากบันทึกการจำลองแบบหรือจากตารางสำรอง
8. เปิดใช้งานการทำธุรกรรม

ฉันเพิ่งจะทำสิ่งนี้เมื่อเร็ว ๆ นี้ สิ่งที่ Amazon แนะนำคือการใช้ Percona Toolkit ฉันดาวน์โหลดมาแล้วและสามารถใช้งานบางอย่างเช่น:

./pt-online-schema-change h=databasenameHostName,D=databasename,t=tablename --recursion-method=none --execute --user username --password password --alter "MODIFY someColumn newDataType"

และมันใช้งานได้ดี มันบอกคุณเวลาที่เหลืออยู่ในกระบวนการ

มันสร้างตารางใหม่ด้วยคอลัมน์ใหม่แล้วคัดลอกข้อมูลที่มีอยู่ไป นอกจากนี้ยังสร้างทริกเกอร์เพื่อให้ข้อมูลใหม่ถูกส่งไปยังตารางใหม่ จากนั้นเปลี่ยนชื่อตารางโดยอัตโนมัติวางตารางเก่าและคุณจะพร้อมใช้งานกับคอลัมน์ใหม่และไม่หยุดทำงานในขณะที่คุณรอการอัปเดต

symcbeanมีบางส่วนข้อเสนอแนะที่เป็นของแข็ง

ในการตอบคำถามของคุณวิธีที่ง่ายที่สุดและดีที่สุดในการลดผลกระทบคือการมีฐานข้อมูลหลายแบบจำลอง Dual master พร้อมโพรซีเดอร์ failover ที่เหมาะสมหยุดการเรพลิเคทบนแอ็คทีฟซึ่งอนุญาตให้ทำการเปลี่ยนแปลงบนแอ็คทีฟโดยไม่ส่งผลกระทบต่อแอ็คทีฟ

คุณอาจจะทำเช่นนี้ในฐานข้อมูลอยู่คนเดียวและลดผลกระทบโดยใช้กระบวนการที่คล้ายกับหนึ่งที่ผมรายละเอียดในคำตอบนี้ เป็นที่ยอมรับซึ่งคล้ายกับ symcbean ที่อธิบาย แต่รวมถึงรายละเอียดทางเทคนิค คุณสามารถใช้ฟิลด์ auto_increment ได้เช่นกันและไม่เพียง แต่บันทึกเวลา

ในที่สุดหากชุดข้อมูลของคุณมีขนาดใหญ่มากคุณจำเป็นต้องพิจารณาการเก็บถาวรระหว่างฐานข้อมูลOLTPและOLAP ชุดข้อมูลธุรกรรมของคุณไม่จำเป็นต้องมีขนาดใหญ่มากหากคุณออกแบบอย่างเหมาะสม

จากคู่มือ: http://dev.mysql.com/doc/refman/5.1/en/alter-table.html

ในกรณีส่วนใหญ่ ALTER TABLE สร้างสำเนาชั่วคราวของตารางดั้งเดิม MySQL รวมการเปลี่ยนแปลงในการคัดลอกจากนั้นลบตารางต้นฉบับและเปลี่ยนชื่อใหม่ ในขณะที่ ALTER TABLE กำลังทำงานตารางต้นฉบับสามารถอ่านได้โดยเซสชันอื่น การอัพเดตและการเขียนลงในตารางจะถูกหยุดรอจนกว่าตารางใหม่จะพร้อมใช้งานจากนั้นจะถูกเปลี่ยนเส้นทางไปยังตารางใหม่โดยอัตโนมัติโดยไม่มีการอัปเดตที่ล้มเหลว

ดังนั้นการอ่านจะทำงานได้ดี การเขียนจะถูกหยุดทำงาน แต่จะดำเนินการในภายหลัง หากคุณต้องการป้องกันสิ่งนี้คุณจะต้องแก้ไขซอฟต์แวร์ของคุณ

ฉันอยู่ในสถานการณ์ที่คล้ายกันซึ่งฉันต้องแก้ไขตารางธุรกรรมของฉันที่เกือบ 65GB ฉันได้ยินทางออก 2 ข้อ

1. ใช้ ALTER ตรงไปข้างหน้าและปล่อยให้มันรัน (จำนวน X ชั่วโมงหรือวัน)
2. ตรวจสอบให้แน่ใจว่าคุณมีคอลัมน์เวลาประทับบนฐานข้อมูลหรือกำลังสร้างบันทึกการจำลองแบบ
   • สร้างสำเนา (B) ของตาราง (A)
   • เพิ่มคอลัมน์ใหม่ใน B (จะยังคงบล็อกด้วย myisam)
   • ปิดการใช้งานการทำธุรกรรม
   • เปลี่ยนชื่อตารางต้นฉบับ (A) เป็นอย่างอื่น (สำรอง)
   • เปลี่ยนชื่อตารางใหม่ (B) ด้วยชื่อของตารางเดิม (A)