postgresql COUNT (DISTINCT …) ช้ามาก

ฉันมีแบบสอบถาม SQL ที่ง่ายมาก:

SELECT COUNT(DISTINCT x) FROM table;

ตารางของฉันมีประมาณ 1.5 ล้านแถว แบบสอบถามนี้ทำงานค่อนข้างช้า ใช้เวลาประมาณ 7.5 วินาทีเมื่อเทียบกับ

 SELECT COUNT(x) FROM table;

ซึ่งใช้เวลาประมาณ 435ms มีวิธีใดที่จะเปลี่ยนข้อความค้นหาของฉันเพื่อปรับปรุงประสิทธิภาพหรือไม่ ฉันได้ลองจัดกลุ่มและทำการนับเป็นประจำเช่นเดียวกับการวางดัชนีบน x; ทั้งคู่มีเวลาดำเนินการ 7.5 วินาทีเหมือนกัน

คุณสามารถใช้สิ่งนี้:

SELECT COUNT(*) FROM (SELECT DISTINCT column_name FROM table_name) AS temp;

มันเร็วกว่า:

COUNT(DISTINCT column_name)

-- My default settings (this is basically a single-session machine, so work_mem is pretty high)
SET effective_cache_size='2048MB';
SET work_mem='16MB';

\echo original
EXPLAIN ANALYZE
SELECT
        COUNT (distinct val) as aantal
FROM one
        ;

\echo group by+count(*)
EXPLAIN ANALYZE
SELECT
        distinct val
       -- , COUNT(*)
FROM one
GROUP BY val;

\echo with CTE
EXPLAIN ANALYZE
WITH agg AS (
    SELECT distinct val
    FROM one
    GROUP BY val
    )
SELECT COUNT (*) as aantal
FROM agg
        ;

ผล:

original                                                      QUERY PLAN                                                      
----------------------------------------------------------------------------------------------------------------------
 Aggregate  (cost=36448.06..36448.07 rows=1 width=4) (actual time=1766.472..1766.472 rows=1 loops=1)
   ->  Seq Scan on one  (cost=0.00..32698.45 rows=1499845 width=4) (actual time=31.371..185.914 rows=1499845 loops=1)
 Total runtime: 1766.642 ms
(3 rows)

group by+count(*)
                                                         QUERY PLAN                                                         
----------------------------------------------------------------------------------------------------------------------------
 HashAggregate  (cost=36464.31..36477.31 rows=1300 width=4) (actual time=412.470..412.598 rows=1300 loops=1)
   ->  HashAggregate  (cost=36448.06..36461.06 rows=1300 width=4) (actual time=412.066..412.203 rows=1300 loops=1)
         ->  Seq Scan on one  (cost=0.00..32698.45 rows=1499845 width=4) (actual time=26.134..166.846 rows=1499845 loops=1)
 Total runtime: 412.686 ms
(4 rows)

with CTE
                                                             QUERY PLAN                                                             
------------------------------------------------------------------------------------------------------------------------------------
 Aggregate  (cost=36506.56..36506.57 rows=1 width=0) (actual time=408.239..408.239 rows=1 loops=1)
   CTE agg
     ->  HashAggregate  (cost=36464.31..36477.31 rows=1300 width=4) (actual time=407.704..407.847 rows=1300 loops=1)
           ->  HashAggregate  (cost=36448.06..36461.06 rows=1300 width=4) (actual time=407.320..407.467 rows=1300 loops=1)
                 ->  Seq Scan on one  (cost=0.00..32698.45 rows=1499845 width=4) (actual time=24.321..165.256 rows=1499845 loops=1)
       ->  CTE Scan on agg  (cost=0.00..26.00 rows=1300 width=0) (actual time=407.707..408.154 rows=1300 loops=1)
     Total runtime: 408.300 ms
    (7 rows)

แผนเดียวกันกับ CTE อาจถูกผลิตโดยวิธีอื่น (ฟังก์ชั่นหน้าต่าง)

หากคุณcount(distinct(x))ช้ากว่าอย่างมากcount(x)คุณสามารถเพิ่มความเร็วการสืบค้นนี้ได้โดยรักษาค่า x ไว้ในตารางอื่นเช่นtable_name_x_counts (x integer not null, x_count int not null)ใช้ทริกเกอร์ แต่ประสิทธิภาพการเขียนของคุณจะได้รับผลกระทบและหากคุณอัปเดตหลาย ๆxค่าในการทำธุรกรรมเดียวคุณต้องดำเนินการนี้ในลำดับที่ชัดเจนเพื่อหลีกเลี่ยงการหยุดชะงักที่อาจเกิดขึ้น

ฉันยังค้นหาคำตอบเดียวกันเพราะในบางช่วงเวลาฉันต้องการtotal_count ด้วยค่าที่แตกต่างพร้อมกับลิมิต / ออฟเซ็ตที่มีค่าที่แตกต่างกันพร้อมกับขีด จำกัด

เพราะมันยากที่จะทำเพื่อให้ได้จำนวนทั้งหมดด้วยค่าที่แตกต่างพร้อมกับลิมิต / ออฟเซ็ต โดยปกติจะเป็นการยากที่จะได้รับการนับทั้งหมดด้วยการ จำกัด / ชดเชย ในที่สุดฉันก็ได้วิธีทำ -

SELECT DISTINCT COUNT(*) OVER() as total_count, * FROM table_name limit 2 offset 0;

ประสิทธิภาพการค้นหายังสูง