การลบข้อมูล mysql จำนวนมาก (4 ล้านแถว) อย่างมีประสิทธิภาพเป็นประจำ

เรามีตาราง mysql ที่เวลาประมาณ 12 ล้านแถว เราจำเป็นต้องลบข้อมูลเก่าเพื่อให้ขนาดของตารางค่อนข้างจัดการได้

ตอนนี้เรากำลังเรียกใช้แบบสอบถามนี้ทุกวันเวลาเที่ยงคืนโดยใช้งาน cron:

DELETE FROM table WHERE endTime < '1393632001'

ครั้งล่าสุดที่มีการเรียกใช้แบบสอบถามตรวจสอบ 4,602,400 ใช้เวลา 3 นาทีและ CPU ดำเนินการผ่านหลังคา

เราสามารถทำอะไรได้บ้างเพื่อป้องกันไม่ให้ CPU, การเชื่อมต่อฐานข้อมูลแบบซิงโครนัส, ความลึกของคิวดิสก์และอื่น ๆ จากการ spiking อย่างไม่มีเหตุผลในขณะที่ยังล้างข้อมูลเก่า

PS: คุณจะสังเกตเห็นว่าการค้นหาเกิดขึ้นจริงในเวลาที่ไม่เหมาะสมพอสมควรในรอบการใช้งานของเรา สมมติว่าเราได้เปลี่ยนเวลาของการค้นหาให้เกิดขึ้นที่จุดต่ำสุดของการใช้งานในแต่ละวัน นอกจากนี้ยังไม่มีดัชนีใน "endTime" และฉันต้องการเก็บไว้อย่างนั้นถ้าเป็นไปได้เพราะมีการแทรกข้อมูลจำนวนมากเป็นประจำและไม่ต้องค้นหามากนัก

วิธีแก้ไขปัญหาของคุณคือความสามารถของ MySQL ที่เรียกว่า "การแบ่งพาร์ติชัน" เอกสารที่ได้คือที่นี่

การแบ่งพาร์ติชันใดที่จะจัดเก็บตารางเดียวใน "พาร์ติชัน" แยกต่างหาก สิ่งเหล่านี้ถูกกำหนดโดยนิพจน์เฉพาะซึ่งโดยปกติจะเป็นค่าคอลัมน์หรือช่วง ในกรณีของคุณสิ่งนี้อาจเป็นไปตามendTime- สมมติว่าเป็นที่รู้จักกันเมื่อมีการสร้างบันทึกและจะไม่เปลี่ยนแปลง

คุณจะเก็บค่าวันendTimeในแต่ละพาร์ติชัน จากนั้นขั้นตอนการลบจะตัดทอนพาร์ติชั่นแทนการลบกลุ่มแถวในตารางขนาดใหญ่ การตัดพาร์ติชันจะเป็นวิธีที่เร็วกว่ามาก