การเลือกแถวสุ่มอย่างรวดเร็วใน Postgres

ฉันมีตารางใน postgres ที่มีสองสามล้านแถว ฉันได้ตรวจสอบทางอินเทอร์เน็ตและพบสิ่งต่อไปนี้

SELECT myid FROM mytable ORDER BY RANDOM() LIMIT 1;

มันใช้งานได้ แต่ช้ามาก ... มีวิธีอื่นในการสร้างแบบสอบถามหรือวิธีโดยตรงในการเลือกแถวสุ่มโดยไม่ต้องอ่านตารางทั้งหมด? โดยวิธีการที่ 'myid' เป็นจำนวนเต็ม แต่สามารถเป็นฟิลด์ว่างได้

คุณอาจต้องการทดลองOFFSETเช่นเดียวกับใน

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

เป็นจำนวนแถวในN mytableคุณอาจต้องทำก่อนSELECT COUNT(*)เพื่อหาค่าของN.

อัปเดต (โดย Antony Hatchkins)

คุณต้องใช้floorที่นี่:

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

พิจารณาตาราง 2 แถว random()*Nสร้าง0 <= x < 2และเช่นSELECT myid FROM mytable OFFSET 1.7 LIMIT 1;ส่งคืน 0 แถวเนื่องจากการปัดเศษโดยปริยายเป็น int ที่ใกล้ที่สุด

PostgreSQL 9.5 นำเสนอแนวทางใหม่สำหรับการเลือกตัวอย่างที่เร็วขึ้นมาก: TABLESAMPLE

ไวยากรณ์คือ

SELECT * FROM my_table TABLESAMPLE BERNOULLI(percentage);
SELECT * FROM my_table TABLESAMPLE SYSTEM(percentage);

นี่ไม่ใช่วิธีแก้ปัญหาที่ดีที่สุดหากคุณต้องการเลือกเพียงแถวเดียวเพราะคุณต้องรู้ COUNT ของตารางเพื่อคำนวณเปอร์เซ็นต์ที่แน่นอน

เพื่อหลีกเลี่ยง COUNT ที่ช้าและใช้ TABLESAMPLE แบบเร็วสำหรับตารางตั้งแต่ 1 แถวไปจนถึงหลายพันล้านแถวคุณสามารถทำได้:

 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.000001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.00001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.0001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.001) LIMIT 1;
 ...

สิ่งนี้อาจดูไม่หรูหรานัก แต่อาจเร็วกว่าคำตอบอื่น ๆ

ในการตัดสินใจว่าคุณต้องการใช้ BERNULLI oder SYSTEM หรือไม่อ่านเกี่ยวกับความแตกต่างได้ที่http://blog.2ndquadrant.com/tablesample-in-postgresql-9-5-2/

ฉันลองสิ่งนี้กับแบบสอบถามย่อยและใช้งานได้ดี Offset อย่างน้อยใน Postgresql v8.4.4 ก็ใช้ได้ดี

select * from mytable offset random() * (select count(*) from mytable) limit 1 ;

คุณต้องใช้floor:

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

ตรวจสอบลิงค์นี้เพื่อดูตัวเลือกต่างๆ http://www.depesz.com/index.php/2007/09/16/my-thoughts-on-getting-random-row/

อัปเดต: (อ. Hatchkins)

สรุปบทความยาว (มาก) มีดังนี้

ผู้เขียนแสดงสี่แนวทาง:

1) ORDER BY random() LIMIT 1; - ช้า

2) ORDER BY id where id>=random()*N LIMIT 1- ไม่สม่ำเสมอหากมีช่องว่าง

3) คอลัมน์แบบสุ่ม - ต้องได้รับการอัปเดตเป็นระยะ ๆ

4) การรวมแบบสุ่มที่กำหนดเอง- วิธีการฉลาดแกมโกงอาจช้า: ต้องสร้างแบบสุ่ม () N ครั้ง

และแนะนำให้ปรับปรุงวิธี # 2 โดยใช้

5) ORDER BY id where id=random()*N LIMIT 1 ด้วยการร้องขอที่ตามมาหากผลลัพธ์ว่างเปล่า

วิธีที่ง่ายที่สุดและเร็วที่สุดในการดึงข้อมูลแถวสุ่มคือการใช้tsm_system_rowsส่วนขยาย:

CREATE EXTENSION IF NOT EXISTS tsm_system_rows;

จากนั้นคุณสามารถเลือกจำนวนแถวที่คุณต้องการ:

SELECT myid  FROM mytable TABLESAMPLE SYSTEM_ROWS(1);

สามารถใช้ได้กับ PostgreSQL 9.5 และใหม่กว่า

ดู: https://www.postgresql.org/docs/current/static/tsm-system-rows.html

TABLESAMPLEฉันได้มาด้วยวิธีการแก้ปัญหาอย่างรวดเร็วโดยไม่ต้อง เร็วกว่าOFFSET random()*N LIMIT 1. ไม่จำเป็นต้องมีการนับตาราง

ความคิดที่จะสร้างดัชนีการแสดงออกที่มีข้อมูลแบบสุ่ม md5(primary key)แต่คาดเดาได้เช่น

นี่คือการทดสอบด้วยข้อมูลตัวอย่าง 1M แถว:

create table randtest (id serial primary key, data int not null);

insert into randtest (data) select (random()*1000000)::int from generate_series(1,1000000);

create index randtest_md5_id_idx on randtest (md5(id::text));

explain analyze
select * from randtest where md5(id::text)>md5(random()::text)
order by md5(id::text) limit 1;

ผลลัพธ์:

 Limit  (cost=0.42..0.68 rows=1 width=8) (actual time=6.219..6.220 rows=1 loops=1)
   ->  Index Scan using randtest_md5_id_idx on randtest  (cost=0.42..84040.42 rows=333333 width=8) (actual time=6.217..6.217 rows=1 loops=1)
         Filter: (md5((id)::text) > md5((random())::text))
         Rows Removed by Filter: 1831
 Total runtime: 6.245 ms

บางครั้งการสืบค้นนี้อาจ (มีความน่าจะเป็นประมาณ 1 / Number_of_rows) ส่งคืน 0 แถวดังนั้นจึงจำเป็นต้องตรวจสอบและเรียกใช้ใหม่ ความน่าจะเป็นก็ไม่เหมือนกันทุกประการ - บางแถวมีความเป็นไปได้มากกว่าแถวอื่น ๆ

สำหรับการเปรียบเทียบ:

explain analyze SELECT id FROM randtest OFFSET random()*1000000 LIMIT 1;

ผลลัพธ์แตกต่างกันไปมาก แต่ก็ค่อนข้างแย่:

 Limit  (cost=1442.50..1442.51 rows=1 width=4) (actual time=179.183..179.184 rows=1 loops=1)
   ->  Seq Scan on randtest  (cost=0.00..14425.00 rows=1000000 width=4) (actual time=0.016..134.835 rows=915702 loops=1)
 Total runtime: 179.211 ms
(3 rows)