ลบระเบียนที่ซ้ำกันใน PostgreSQL

ฉันมีตารางในฐานข้อมูล PostgreSQL 8.3.8 ซึ่งไม่มีคีย์ / ข้อ จำกัด และมีหลายแถวที่มีค่าเหมือนกันทุกประการ

ฉันต้องการลบรายการที่ซ้ำกันทั้งหมดและเก็บไว้เพียง 1 สำเนาของแต่ละแถว

มีคอลัมน์หนึ่งคอลัมน์โดยเฉพาะ (ชื่อ "คีย์") ซึ่งอาจใช้เพื่อระบุรายการที่ซ้ำกัน (กล่าวคือควรมีเพียงรายการเดียวสำหรับ "คีย์" ที่แตกต่างกันแต่ละรายการ)

ฉันจะทำเช่นนี้ได้อย่างไร? (ตามหลักแล้วคำสั่ง SQL คำสั่งเดียว) ความเร็วไม่ใช่ปัญหาในกรณีนี้ (มีเพียงไม่กี่แถว)

DELETE FROM dupes a
WHERE a.ctid <> (SELECT min(b.ctid)
                 FROM   dupes b
                 WHERE  a.key = b.key);

วิธีแก้ปัญหาที่เร็วกว่าคือ

DELETE FROM dups a USING (
      SELECT MIN(ctid) as ctid, key
        FROM dups 
        GROUP BY key HAVING COUNT(*) > 1
      ) b
      WHERE a.key = b.key 
      AND a.ctid <> b.ctid

รวดเร็วและรัดกุม:

DELETE FROM dupes T1
    USING   dupes T2
WHERE   T1.ctid < T2.ctid  -- delete the older versions
    AND T1.key  = T2.key;  -- add more columns if needed

ดูคำตอบของฉันได้ที่วิธีการลบแถวที่ซ้ำกันโดยไม่มีตัวระบุที่ไม่ซ้ำกันซึ่งรวมถึงข้อมูลเพิ่มเติม

ฉันลองสิ่งนี้:

DELETE FROM tablename
WHERE id IN (SELECT id
              FROM (SELECT id,
                             ROW_NUMBER() OVER (partition BY column1, column2, column3 ORDER BY id) AS rnum
                     FROM tablename) t
              WHERE t.rnum > 1);

จัดทำโดย Postgres wiki:

https://wiki.postgresql.org/wiki/Deleting_duplicates

ฉันจะใช้ตารางชั่วคราว:

create table tab_temp as
select distinct f1, f2, f3, fn
  from tab;

จากนั้นลบtabและเปลี่ยนชื่อลงไปtab_temptab

ฉันต้องสร้างเวอร์ชันของฉันเอง เวอร์ชันที่เขียนโดย @a_horse_with_no_name ช้าเกินไปบนตารางของฉัน (แถว 21M) และ @rapimo ก็ไม่ได้ลบ dups

นี่คือสิ่งที่ฉันใช้กับ PostgreSQL 9.5

DELETE FROM your_table
WHERE ctid IN (
  SELECT unnest(array_remove(all_ctids, actid))
  FROM (
         SELECT
           min(b.ctid)     AS actid,
           array_agg(ctid) AS all_ctids
         FROM your_table b
         GROUP BY key1, key2, key3, key4
         HAVING count(*) > 1) c);

อีกวิธีหนึ่ง (ใช้ได้เฉพาะในกรณีที่คุณมีเขตข้อมูลที่ไม่ซ้ำกันเช่นidในตารางของคุณ) เพื่อค้นหารหัสที่ไม่ซ้ำกันทั้งหมดตามคอลัมน์และลบรหัสอื่น ๆ ที่ไม่ได้อยู่ในรายการที่ไม่ซ้ำกัน

DELETE
FROM users
WHERE users.id NOT IN (SELECT DISTINCT ON (username, email) id FROM users);

เกี่ยวกับ:

ด้วย
  คุณเป็น (เลือก DISTINCT * จาก your_table)
  x AS (ลบจาก your_table)
INSERT INTO your_table SELECT * FROM u;

ฉันกังวลเกี่ยวกับคำสั่งการดำเนินการ DELETE จะเกิดขึ้นก่อนที่จะเลือก DISTINCT แต่มันก็ใช้ได้ดีสำหรับฉัน และมีโบนัสเพิ่มเติมโดยไม่จำเป็นต้องมีความรู้เกี่ยวกับโครงสร้างตาราง

นี้ทำงานได้ดีสำหรับฉัน. ฉันมีตารางคำศัพท์ที่มีค่าซ้ำกัน เรียกใช้แบบสอบถามเพื่อเติมข้อมูลในตารางชั่วคราวด้วยแถวที่ซ้ำกันทั้งหมด จากนั้นฉันรันคำสั่งลบด้วยรหัสเหล่านั้นในตารางชั่วคราว ค่าคือคอลัมน์ที่มีรายการที่ซ้ำกัน

        CREATE TEMP TABLE dupids AS
        select id from (
                    select value, id, row_number() 
over (partition by value order by value) 
    as rownum from terms
                  ) tmp
                  where rownum >= 2;

delete from [table] where id in (select id from dupids)

นี่คือวิธีแก้ปัญหาโดยใช้PARTITION BY:

DELETE FROM dups
USING (
  SELECT
    ctid,
    (ctid != min(ctid) OVER (PARTITION BY key_column1, key_column2 [...])) AS is_duplicate
  FROM dups 
) dups_find_duplicates
WHERE dups.ctid == dups_find_duplicates.ctid
AND dups_find_duplicates.is_duplicate