ทำไม MYSQL LIMIT ที่สูงกว่าจึงชดเชยการสืบค้นช้าลง

สถานการณ์โดยสังเขป: ตารางที่มีมากกว่า 16 ล้านเร็กคอร์ด [ขนาด 2GB] LIMIT ที่สูงขึ้นชดเชยด้วย SELECT ยิ่งการสืบค้นช้าลงเมื่อใช้ ORDER BY * primary_key *

ดังนั้น

SELECT * FROM large ORDER BY `id`  LIMIT 0, 30 

ใช้เวลาน้อยกว่า

SELECT * FROM large ORDER BY `id` LIMIT 10000, 30 

นั่นสั่งเฉพาะระเบียน 30 รายการและเหมือนกันเท่านั้น ดังนั้นไม่ใช่ค่าใช้จ่ายจากคำสั่งซื้อ
ตอนนี้เมื่อดึง 30 แถวล่าสุดจะใช้เวลาประมาณ 180 วินาที ฉันจะเพิ่มประสิทธิภาพข้อความค้นหาธรรมดา ๆ ได้อย่างไร

เป็นเรื่องปกติที่การออฟเซ็ตที่สูงกว่าจะทำให้คิวรีช้าลงเนื่องจากคิวรีจะต้องนับOFFSET + LIMITระเบียนแรก(และรับเฉพาะระเบียนLIMIT) สูงกว่าคือค่านี้ยิ่งแบบสอบถามทำงานนานขึ้น

แบบสอบถามไม่สามารถไปได้ทันทีOFFSETเพราะประการแรกระเบียนอาจมีความยาวแตกต่างกันและประการที่สองอาจมีช่องว่างจากระเบียนที่ถูกลบ มันต้องตรวจสอบและนับแต่ละบันทึกในทางของมัน

สมมติว่าidเป็นPRIMARY KEYของMyISAMตารางคุณสามารถเพิ่มความเร็วขึ้นโดยใช้เคล็ดลับนี้:

SELECT  t.*
FROM    (
        SELECT  id
        FROM    mytable
        ORDER BY
                id
        LIMIT 10000, 30
        ) q
JOIN    mytable t
ON      t.id = q.id

ดูบทความนี้:

• ประสิทธิภาพ MySQL ORDER BY / LIMIT: การค้นหาแถวหลัง

ฉันมีปัญหาเดียวกันที่แน่นอนด้วยตัวเอง เนื่องจากข้อเท็จจริงที่ว่าคุณต้องการรวบรวมข้อมูลจำนวนมากและไม่ใช่ชุดที่ 30 คุณจะต้องวนซ้ำและเพิ่มออฟเซ็ต 30

ดังนั้นสิ่งที่คุณสามารถทำได้คือ:

1. เก็บ id สุดท้ายของชุดข้อมูล (30) (เช่น lastId = 530)
2. เพิ่มเงื่อนไข WHERE id > lastId limit 0,30

ดังนั้นคุณสามารถชดเชยค่าศูนย์ได้เสมอ คุณจะประหลาดใจกับการปรับปรุงประสิทธิภาพ

MySQL ไม่สามารถไปที่ระเบียนที่ 10,000 โดยตรง (หรือ 80000th ไบต์ตามที่คุณแนะนำ) เพราะมันไม่สามารถสรุปได้ว่ามันบรรจุ / สั่งเช่นนั้น (หรือว่ามันมีค่าอย่างต่อเนื่องใน 1 ถึง 10,000) แม้ว่ามันอาจเป็นไปได้ว่าในความเป็นจริง, MySQL ไม่สามารถสรุปได้ว่าไม่มีรหัสหลุม / ช่องว่าง / ลบ

ดังนั้นตามที่บ็อบระบุไว้ MySQL จะต้องดึงข้อมูล 10,000 แถว (หรือสำรวจผ่านรายการที่ 10,000 ของดัชนีในid) ก่อนที่จะหา 30 เพื่อส่งคืน

แก้ไข : เพื่อแสดงจุดของฉัน

โปรดทราบว่าแม้ว่า

SELECT * FROM large ORDER BY id LIMIT 10000, 30 

จะช้า (ER) ,

SELECT * FROM large WHERE id >  10000 ORDER BY id LIMIT 30 

จะเร็ว (er)และจะส่งกลับผลลัพธ์เดียวกันโดยมีเงื่อนไขว่าไม่มีการขาดหายไปid(เช่นช่องว่าง)

ฉันพบตัวอย่างที่น่าสนใจในการเพิ่มประสิทธิภาพการสืบค้น SELECT เรียงลำดับตาม id LIMIT X, Y ฉันมี 35 ล้านแถวดังนั้นมันใช้เวลา 2 นาทีในการค้นหาแถวต่างๆ

นี่คือเคล็ดลับ:

select id, name, address, phone
FROM customers
WHERE id > 990
ORDER BY id LIMIT 1000;

เพียงแค่ใส่ WHERE ด้วยรหัสล่าสุดที่คุณเพิ่มประสิทธิภาพได้มากขึ้น สำหรับฉันมันมาจาก 2 นาทีถึง 1 วินาที :)

เทคนิคที่น่าสนใจอื่น ๆ ที่นี่: http://www.iheavy.com/2013/06/19/3-ways-to-optimize-for-paging-in-mysql/

มันทำงานได้ดีกับสตริง

ส่วนที่ใช้เวลานานของแบบสอบถามทั้งสองกำลังดึงแถวออกจากตาราง การพูดอย่างมีเหตุผลในLIMIT 0, 30รุ่นนี้จะต้องดึงเพียง 30 แถว ในLIMIT 10000, 30เวอร์ชันจะมีการประเมินแถว 10,000 แถวและส่งคืนแถว 30 แถว อาจมีการปรับให้เหมาะสมสามารถทำกระบวนการอ่านข้อมูลของฉันได้ แต่พิจารณาสิ่งต่อไปนี้

ถ้าคุณมีส่วนคำสั่ง WHERE ในแบบสอบถาม เอ็นจินต้องส่งคืนแถวทั้งหมดที่ผ่านการรับรองแล้วเรียงลำดับข้อมูลและสุดท้ายได้รับ 30 แถว

พิจารณากรณีที่แถวไม่ถูกประมวลผลในลำดับ ORDER BY แถวที่ผ่านการคัดเลือกทั้งหมดต้องถูกเรียงลำดับเพื่อกำหนดว่าแถวใดที่จะส่งคืน

สำหรับผู้ที่มีความสนใจในการเปรียบเทียบและตัวเลข :)

การทดลองที่ 1: ชุดข้อมูลมีประมาณ 100 ล้านแถว แต่ละแถวประกอบด้วย BIGINT, TINYINT และสองฟิลด์ TEXT (โดยเจตนา) ที่มีประมาณ 1k chars

• สีน้ำเงิน: = SELECT * FROM post ORDER BY id LIMIT {offset}, 5
• Orange: = @ วิธีการ Quassnoi SELECT t.* FROM (SELECT id FROM post ORDER BY id LIMIT {offset}, 5) AS q JOIN post t ON t.id = q.id
• แน่นอนวิธีที่สาม... WHERE id>xxx LIMIT 0,5ไม่ปรากฏที่นี่เพราะควรเป็นเวลาคงที่

การทดลองที่ 2: สิ่งที่คล้ายกันยกเว้นว่าแถวเดียวมีเพียง 3 BIGINT

• สีเขียว: = สีน้ำเงินมาก่อน
• สีแดง: = ส้มก่อน