วิธีค้นหาระเบียนที่ซ้ำกันใน PostgreSQL

ฉันมีตารางฐานข้อมูล PostgreSQL ชื่อ "user_links" ซึ่งปัจจุบันอนุญาตให้มีฟิลด์ที่ซ้ำกันต่อไปนี้:

year, user_id, sid, cid

ข้อ จำกัด ที่ไม่ซ้ำกันในขณะนี้คือสนามแรกที่เรียกว่า "id" แต่ตอนนี้ฉันต้องการเพิ่มข้อ จำกัด เพื่อให้แน่ใจว่าyear, user_id, sidและcidทุกคนที่ไม่ซ้ำกัน แต่ฉันไม่สามารถใช้ข้อ จำกัด เพราะค่าที่ซ้ำกันอยู่แล้วที่ละเมิดข้อ จำกัด นี้

มีวิธีการค้นหารายการที่ซ้ำกันทั้งหมดหรือไม่

แนวคิดพื้นฐานจะใช้การสืบค้นแบบซ้อนที่มีการรวมการนับ:

select * from yourTable ou
where (select count(*) from yourTable inr
where inr.sid = ou.sid) > 1

คุณสามารถปรับที่ส่วนคำสั่งในแบบสอบถามภายในเพื่อ จำกัด การค้นหา

มีอีกวิธีที่ดีสำหรับสิ่งที่กล่าวถึงในความคิดเห็น (แต่ไม่ใช่ทุกคนที่อ่านพวกเขา):

select Column1, Column2, count(*)
from yourTable
group by Column1, Column2
HAVING count(*) > 1

หรือสั้นกว่า:

SELECT (yourTable.*)::text, count(*)
FROM yourTable
GROUP BY yourTable.*
HAVING count(*) > 1

จาก " ค้นหาแถวที่ซ้ำกันด้วย PostgreSQL " นี่คือโซลูชันอัจฉริยะ:

select * from (
  SELECT id,
  ROW_NUMBER() OVER(PARTITION BY column1, column2 ORDER BY id asc) AS Row
  FROM tbl
) dups
where 
dups.Row > 1

คุณสามารถเข้าร่วมในตารางเดียวกันในฟิลด์ที่จะทำซ้ำและต่อต้านการเข้าร่วมในฟิลด์ ID เลือกฟิลด์ id จากนามแฝงของตารางแรก (tn1) จากนั้นใช้ฟังก์ชัน array_agg บนฟิลด์ id ของนามแฝงตารางที่สอง ในที่สุดเพื่อให้ฟังก์ชัน array_agg ทำงานอย่างถูกต้องคุณจะจัดกลุ่มผลลัพธ์ตามฟิลด์ tn1.id สิ่งนี้จะสร้างชุดผลลัพธ์ที่มี id ของเร็กคอร์ดและอาร์เรย์ของ id ทั้งหมดที่เหมาะสมกับเงื่อนไขการรวม

select tn1.id,
       array_agg(tn2.id) as duplicate_entries, 
from table_name tn1 join table_name tn2 on 
    tn1.year = tn2.year 
    and tn1.sid = tn2.sid 
    and tn1.user_id = tn2.user_id 
    and tn1.cid = tn2.cid
    and tn1.id <> tn2.id
group by tn1.id;

เห็นได้ชัดว่ารหัสที่จะอยู่ในอาเรย์ซ้ำซ้อนสำหรับรหัสเดียวก็จะมีรายการของตัวเองในชุดผลลัพธ์ คุณจะต้องใช้ชุดผลลัพธ์นี้เพื่อตัดสินใจว่า id ใดที่คุณต้องการให้กลายเป็น 'ความจริง' ระเบียนเดียวที่ไม่ควรลบ บางทีคุณอาจทำสิ่งนี้:

with dupe_set as (
select tn1.id,
       array_agg(tn2.id) as duplicate_entries, 
from table_name tn1 join table_name tn2 on 
    tn1.year = tn2.year 
    and tn1.sid = tn2.sid 
    and tn1.user_id = tn2.user_id 
    and tn1.cid = tn2.cid
    and tn1.id <> tn2.id
group by tn1.id
order by tn1.id asc)
select ds.id from dupe_set ds where not exists 
 (select de from unnest(ds.duplicate_entries) as de where de < ds.id)

เลือก ID หมายเลขต่ำสุดที่มีซ้ำกัน (สมมติว่า ID กำลังเพิ่ม int PK) เหล่านี้จะเป็นรหัสที่คุณจะเก็บไว้รอบ ๆ

เพื่อให้ง่ายขึ้นฉันคิดว่าคุณต้องการใช้ข้อ จำกัด ที่ไม่ซ้ำกับคอลัมน์ปีและคีย์หลักคือคอลัมน์ชื่อ id

เพื่อหาค่าที่ซ้ำกันที่คุณควรเรียกใช้

SELECT year, COUNT(id)
FROM YOUR_TABLE
GROUP BY year
HAVING COUNT(id) > 1
ORDER BY COUNT(id);

เมื่อใช้คำสั่ง sql ด้านบนคุณจะได้รับตารางที่มีจำนวนปีที่ซ้ำกันทั้งหมดในตารางของคุณ เพื่อที่จะลบรายการที่ซ้ำทั้งหมดยกเว้นรายการที่ซ้ำกันล่าสุดคุณควรใช้คำสั่ง sql ข้างต้น

DELETE
FROM YOUR_TABLE A USING YOUR_TABLE_AGAIN B
WHERE A.year=B.year AND A.id<B.id;