ประสิทธิภาพของตัวดำเนินการ MySQL“ IN” บนจำนวนค่า (ใหญ่?)

ฉันได้ทดลองกับ Redis และ MongoDB เมื่อไม่นานมานี้และดูเหมือนว่ามักจะมีหลายกรณีที่คุณจะเก็บอาร์เรย์ของidไว้ใน MongoDB หรือ Redis ฉันจะติดกับ Redis สำหรับคำถามนี้ตั้งแต่ฉันถามเกี่ยวกับ MySQL ในการประกอบการ

ฉันสงสัยว่านักแสดงเป็นอย่างไรในการแสดงรายการIDจำนวนมาก (300-3000) ในตัวดำเนินการ IN ซึ่งจะมีลักษณะดังนี้:

SELECT id, name, price
FROM products
WHERE id IN (1, 2, 3, 4, ...... 3000)

ลองนึกภาพง่ายๆอย่างตารางผลิตภัณฑ์และหมวดหมู่ซึ่งโดยปกติคุณอาจเข้าร่วมด้วยกันเพื่อรับผลิตภัณฑ์จากหมวดหมู่หนึ่งๆ ในตัวอย่างด้านบนคุณจะเห็นว่าภายใต้หมวดหมู่ที่กำหนดใน Redis ( category:4:product_ids) ฉันส่งคืนรหัสผลิตภัณฑ์ทั้งหมดจากหมวดหมู่ด้วยรหัส 4 และวางไว้ในSELECTข้อความค้นหาด้านบนภายในตัวINดำเนินการ

นักแสดงเป็นอย่างไร?

นี่คือสถานการณ์ "ขึ้นอยู่กับ" หรือไม่? หรือมีรูปธรรม "นี่คือ (ไม่) ยอมรับ" หรือ "เร็ว" หรือ "ช้า" หรือฉันควรเพิ่ม a LIMIT 25หรือไม่ช่วย?

SELECT id, name, price
FROM products
WHERE id IN (1, 2, 3, 4, ...... 3000)
LIMIT 25

หรือฉันควรตัดอาร์เรย์ของรหัสผลิตภัณฑ์ที่ Redis ส่งคืนเพื่อ จำกัด ไว้ที่ 25 และเพิ่มเพียง 25 id ในแบบสอบถามแทนที่จะเป็น 3000 และกำหนดLIMITให้เป็น 25 จากภายในแบบสอบถาม

SELECT id, name, price
FROM products
WHERE id IN (1, 2, 3, 4, ...... 25)

ข้อเสนอแนะ / ข้อเสนอแนะใด ๆ ชื่นชมมาก!

โดยทั่วไปถ้าINรายการมีขนาดใหญ่เกินไป (สำหรับค่าที่กำหนดไว้ไม่ถูกต้องของ 'ใหญ่เกินไป' ซึ่งมักจะอยู่ในพื้นที่ 100 หรือน้อยกว่า) การใช้การรวมจะมีประสิทธิภาพมากขึ้นการสร้างตารางชั่วคราวหากจำเป็น เพื่อเก็บตัวเลข

ถ้าตัวเลขที่มีการตั้งค่าที่มีความหนาแน่นสูง (ช่องว่างไม่มี - ซึ่งข้อมูลตัวอย่างที่แสดงให้เห็น) WHERE id BETWEEN 300 AND 3000จากนั้นคุณสามารถทำได้ดียิ่งขึ้นด้วย

อย่างไรก็ตามสันนิษฐานว่ามีช่องว่างในชุด ณ จุดนี้อาจเป็นการดีกว่าที่จะไปกับรายการค่าที่ถูกต้องหลังจากทั้งหมด (เว้นแต่ช่องว่างจะมีจำนวนค่อนข้างน้อยซึ่งในกรณีนี้คุณสามารถใช้:

WHERE id BETWEEN 300 AND 3000 AND id NOT BETWEEN 742 AND 836

หรืออะไรก็ตามที่มีช่องว่าง

ฉันได้ทำการทดสอบบางอย่างและดังที่ David Fells กล่าวในคำตอบของเขามันก็ค่อนข้างเหมาะสม เพื่อเป็นข้อมูลอ้างอิงฉันได้สร้างตาราง InnoDB ที่มีการลงทะเบียน 1,000,000 รายการและทำการเลือกด้วยโอเปอเรเตอร์ "IN" ที่มีตัวเลขสุ่ม 500,000 หมายเลขใช้เวลาเพียง 2.5 วินาทีบน MAC ของฉัน การเลือกเฉพาะรีจิสเตอร์ใช้เวลา 0.5 วินาที

ปัญหาเดียวที่ฉันมีคือฉันต้องเพิ่มmax_allowed_packetพารามิเตอร์จากmy.cnfไฟล์ มิฉะนั้นจะมีการสร้างข้อผิดพลาด“ MYSQL หายไป” ที่ลึกลับ

นี่คือโค้ด PHP ที่ฉันใช้ทำการทดสอบ:

$NROWS =1000000;
$SELECTED = 50;
$NROWSINSERT =15000;

$dsn="mysql:host=localhost;port=8889;dbname=testschema";
$pdo = new PDO($dsn, "root", "root");
$pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

$pdo->exec("drop table if exists `uniclau`.`testtable`");
$pdo->exec("CREATE  TABLE `testtable` (
        `id` INT NOT NULL ,
        `text` VARCHAR(45) NULL ,
        PRIMARY KEY (`id`) )");

$before = microtime(true);

$Values='';
$SelValues='(';
$c=0;
for ($i=0; $i<$NROWS; $i++) {
    $r = rand(0,99);
    if ($c>0) $Values .= ",";
    $Values .= "( $i , 'This is value $i and r= $r')";
    if ($r<$SELECTED) {
        if ($SelValues!="(") $SelValues .= ",";
        $SelValues .= $i;
    }
    $c++;

    if (($c==100)||(($i==$NROWS-1)&&($c>0))) {
        $pdo->exec("INSERT INTO `testtable` VALUES $Values");
        $Values = "";
        $c=0;
    }
}
$SelValues .=')';
echo "<br>";


$after = microtime(true);
echo "Insert execution time =" . ($after-$before) . "s<br>";

$before = microtime(true);  
$sql = "SELECT count(*) FROM `testtable` WHERE id IN $SelValues";
$result = $pdo->prepare($sql);  
$after = microtime(true);
echo "Prepare execution time =" . ($after-$before) . "s<br>";

$before = microtime(true);

$result->execute();
$c = $result->fetchColumn();

$after = microtime(true);
echo "Random selection = $c Time execution time =" . ($after-$before) . "s<br>";



$before = microtime(true);

$sql = "SELECT count(*) FROM `testtable` WHERE id %2 = 1";
$result = $pdo->prepare($sql);
$result->execute();
$c = $result->fetchColumn();

$after = microtime(true);
echo "Pairs = $c Exdcution time=" . ($after-$before) . "s<br>";

และผลลัพธ์:

Insert execution time =35.2927210331s
Prepare execution time =0.0161771774292s
Random selection = 499102 Time execution time =2.40285992622s
Pairs = 500000 Exdcution time=0.465420007706s

คุณสามารถสร้างตารางชั่วคราวที่คุณสามารถใส่ ID จำนวนเท่าใดก็ได้และเรียกใช้แบบสอบถามที่ซ้อนกันตัวอย่าง:

CREATE [TEMPORARY] TABLE tmp_IDs (`ID` INT NOT NULL,PRIMARY KEY (`ID`));

และเลือก:

SELECT id, name, price
FROM products
WHERE id IN (SELECT ID FROM tmp_IDs);

การใช้INกับพารามิเตอร์ขนาดใหญ่ที่กำหนดไว้ในรายการบันทึกจำนวนมากในความเป็นจริงจะช้า

ในกรณีที่ฉันแก้ไขเมื่อเร็ว ๆ นี้ฉันมีสองโดยที่ส่วนคำสั่งหนึ่งมี 2,50 พารามิเตอร์และอีก 3,500 พารามิเตอร์ค้นหาตารางที่มีบันทึก 40 ล้านรายการ

แบบสอบถามของฉันเอา 5 WHERE INนาทีโดยใช้มาตรฐาน โดยใช้แบบสอบถามย่อยสำหรับคำสั่งIN แทน (ใส่พารามิเตอร์ในตารางที่จัดทำดัชนีของตัวเอง) ฉันได้แบบสอบถามลงเหลือสองวินาที

ทำงานสำหรับทั้ง MySQL และ Oracle จากประสบการณ์ของฉัน

INเป็นเรื่องปกติและได้รับการปรับให้เหมาะสม ตรวจสอบให้แน่ใจว่าคุณใช้ในฟิลด์ที่จัดทำดัชนีแล้วและคุณสบายดี

เทียบเท่ากับการทำงาน:

(x = 1 OR x = 2 OR x = 3 ... OR x = 99)

เท่าที่เครื่องยนต์ DB เป็นห่วง

เมื่อคุณระบุหลายค่าสำหรับตัวINดำเนินการอันดับแรกจะต้องเรียงลำดับเพื่อลบรายการที่ซ้ำกัน อย่างน้อยฉันก็สงสัยว่า ดังนั้นจึงไม่เป็นการดีที่จะระบุค่ามากเกินไปเนื่องจากการเรียงลำดับใช้เวลา N log N

ประสบการณ์ของฉันพิสูจน์แล้วว่าการแบ่งชุดของค่าออกเป็นชุดย่อยที่เล็กลงและการรวมผลลัพธ์ของการสืบค้นทั้งหมดในแอปพลิเคชันให้ประสิทธิภาพที่ดีที่สุด ฉันยอมรับว่าฉันรวบรวมประสบการณ์ในฐานข้อมูลอื่น (Pervasive) แต่สิ่งเดียวกันนี้อาจนำไปใช้กับเอ็นจิ้นทั้งหมด จำนวนค่าต่อชุดของฉันคือ 500-1000 มากหรือน้อยช้าลงอย่างมาก