Postgres: INSERT หากไม่มีอยู่แล้ว

ฉันใช้ Python เพื่อเขียนไปยังฐานข้อมูล postgres:

sql_string = "INSERT INTO hundred (name,name_slug,status) VALUES ("
sql_string += hundred + ", '" + hundred_slug + "', " + status + ");"
cursor.execute(sql_string)

แต่เนื่องจากแถวบางแถวของฉันเหมือนกันฉันได้รับข้อผิดพลาดต่อไปนี้:

psycopg2.IntegrityError: duplicate key value  
  violates unique constraint "hundred_pkey"

ฉันจะเขียนคำว่า 'INSERT ได้อย่างไรถ้าไม่มีคำสั่ง SQL อยู่แล้ว?

ฉันเคยเห็นข้อความที่ซับซ้อนเช่นนี้แนะนำ:

IF EXISTS (SELECT * FROM invoices WHERE invoiceid = '12345')
UPDATE invoices SET billed = 'TRUE' WHERE invoiceid = '12345'
ELSE
INSERT INTO invoices (invoiceid, billed) VALUES ('12345', 'TRUE')
END IF

แต่อย่างแรกคือ overkill นี้สำหรับสิ่งที่ฉันต้องการและอย่างที่สองฉันจะรันหนึ่งในนั้นเป็นสตริงแบบง่ายได้อย่างไร

Postgres 9.5 (เปิดตัวตั้งแต่ 2016-01-07) มีคำสั่ง"upsert"หรือที่เรียกว่าON ON CONERTICT clause :

INSERT ... ON CONFLICT DO NOTHING/UPDATE

มันแก้ปัญหาที่ละเอียดอ่อนหลายอย่างที่คุณสามารถพบเจอได้เมื่อใช้การทำงานพร้อมกันซึ่งบางคำตอบอื่น ๆ เสนอ

ฉันจะเขียนคำว่า 'INSERT ได้อย่างไรถ้าไม่มีคำสั่ง SQL อยู่แล้ว?

มีวิธีที่ดีในการทำ INSERT แบบมีเงื่อนไขใน PostgreSQL:

INSERT INTO example_table
    (id, name)
SELECT 1, 'John'
WHERE
    NOT EXISTS (
        SELECT id FROM example_table WHERE id = 1
    );

ถ้ำวิธีนี้ไม่น่าเชื่อถือ 100% สำหรับการดำเนินการเขียนพร้อมกัน มีสภาพการแข่งขันที่เล็กมากระหว่างSELECTการNOT EXISTSต่อต้านกึ่งเข้าร่วมกับINSERTตัวมันเอง มันอาจล้มเหลวภายใต้เงื่อนไขดังกล่าว

วิธีหนึ่งคือการสร้างตารางที่ไม่มีข้อ จำกัด (ไม่มีดัชนีที่ไม่ซ้ำกัน) เพื่อแทรกข้อมูลทั้งหมดของคุณลงในและทำการเลือกที่แตกต่างจากที่จะแทรกของคุณลงในตารางร้อยของคุณ

ดังนั้นระดับสูงจะเป็น ฉันคิดว่าทั้งสามคอลัมน์มีความแตกต่างในตัวอย่างของฉันดังนั้นสำหรับขั้นตอนที่ 3 เปลี่ยนการเข้าร่วม NOT EXITS เพื่อเข้าร่วมเฉพาะคอลัมน์ที่ไม่ซ้ำกันในตารางร้อย

1. สร้างตารางชั่วคราว ดูเอกสารที่นี่

   CREATE TEMPORARY TABLE temp_data(name, name_slug, status);

2. แทรกข้อมูลลงในตารางอุณหภูมิ

   INSERT INTO temp_data(name, name_slug, status); 

3. เพิ่มดัชนีใด ๆ ลงในตารางชั่วคราว

4. ทำการแทรกตารางหลัก

   INSERT INTO hundred(name, name_slug, status) 
       SELECT DISTINCT name, name_slug, status
       FROM hundred
       WHERE NOT EXISTS (
           SELECT 'X' 
           FROM temp_data
           WHERE 
               temp_data.name          = hundred.name
               AND temp_data.name_slug = hundred.name_slug
               AND temp_data.status    = status
       );

แต่น่าเสียดายที่PostgreSQLการสนับสนุนค่าMERGEมิได้ON DUPLICATE KEY UPDATEดังนั้นคุณจะต้องทำมันในสองงบ:

UPDATE  invoices
SET     billed = 'TRUE'
WHERE   invoices = '12345'

INSERT
INTO    invoices (invoiceid, billed)
SELECT  '12345', 'TRUE'
WHERE   '12345' NOT IN
        (
        SELECT  invoiceid
        FROM    invoices
        )

คุณสามารถห่อมันเป็นฟังก์ชั่น:

CREATE OR REPLACE FUNCTION fn_upd_invoices(id VARCHAR(32), billed VARCHAR(32))
RETURNS VOID
AS
$$
        UPDATE  invoices
        SET     billed = $2
        WHERE   invoices = $1;

        INSERT
        INTO    invoices (invoiceid, billed)
        SELECT  $1, $2
        WHERE   $1 NOT IN
                (
                SELECT  invoiceid
                FROM    invoices
                );
$$
LANGUAGE 'sql';

และเพียงเรียกว่า:

SELECT  fn_upd_invoices('12345', 'TRUE')

คุณสามารถใช้ประโยชน์จาก VALUES ได้ที่ Postgres:

INSERT INTO person (name)
    SELECT name FROM person
    UNION 
    VALUES ('Bob')
    EXCEPT
    SELECT name FROM person;

ฉันรู้ว่าคำถามนี้เกิดขึ้นเมื่อไม่นานมานี้ แต่คิดว่าอาจช่วยได้ ฉันคิดว่าวิธีที่ง่ายที่สุดในการทำเช่นนี้คือผ่านทริกเกอร์ เช่น:

Create Function ignore_dups() Returns Trigger
As $$
Begin
    If Exists (
        Select
            *
        From
            hundred h
        Where
            -- Assuming all three fields are primary key
            h.name = NEW.name
            And h.hundred_slug = NEW.hundred_slug
            And h.status = NEW.status
    ) Then
        Return NULL;
    End If;
    Return NEW;
End;
$$ Language plpgsql;

Create Trigger ignore_dups
    Before Insert On hundred
    For Each Row
    Execute Procedure ignore_dups();

ดำเนินการรหัสนี้จากพรอมต์ psql (หรือคุณต้องการรันการสืบค้นโดยตรงบนฐานข้อมูล) จากนั้นคุณสามารถแทรกตามปกติจาก Python เช่น:

sql = "Insert Into hundreds (name, name_slug, status) Values (%s, %s, %s)"
cursor.execute(sql, (hundred, hundred_slug, status))

โปรดทราบว่าตามที่ @Thomas_Wouters ได้กล่าวถึงแล้วโค้ดด้านบนใช้ประโยชน์จากพารามิเตอร์มากกว่าการต่อสตริง

มีวิธีที่ดีในการทำ INSERT แบบมีเงื่อนไขใน PostgreSQL โดยใช้ WITH query: Like:

WITH a as(
select 
 id 
from 
 schema.table_name 
where 
 column_name = your_identical_column_value
)
INSERT into 
 schema.table_name
(col_name1, col_name2)
SELECT
    (col_name1, col_name2)
WHERE NOT EXISTS (
     SELECT
         id
     FROM
         a
        )
  RETURNING id 

นี่เป็นปัญหาที่ฉันเผชิญและรุ่นของฉันคือ 9.5

และฉันแก้มันด้วยแบบสอบถาม SQL ด้านล่าง

INSERT INTO example_table (id, name)
SELECT 1 AS id, 'John' AS name FROM example_table
WHERE NOT EXISTS(
            SELECT id FROM example_table WHERE id = 1
    )
LIMIT 1;

หวังว่าจะช่วยให้คนที่มีปัญหาเดียวกันกับรุ่น> = 9.5

ขอบคุณที่อ่าน.

ใส่ .. ที่ซึ่งไม่มีอยู่เป็นวิธีการที่ดี และเงื่อนไขการแข่งขันสามารถหลีกเลี่ยงได้โดยการทำธุรกรรม "ซองจดหมาย":

BEGIN;
LOCK TABLE hundred IN SHARE ROW EXCLUSIVE MODE;
INSERT ... ;
COMMIT;

มันง่ายกับกฎ:

CREATE RULE file_insert_defer AS ON INSERT TO file
WHERE (EXISTS ( SELECT * FROM file WHERE file.id = new.id)) DO INSTEAD NOTHING

แต่มันล้มเหลวพร้อมเขียน ...

วิธีการที่มี upvotes มากที่สุด (จาก John Doe) ทำงานได้ดีสำหรับฉัน แต่ในกรณีของฉันจากแถว 422 ที่คาดหวังฉันได้รับเพียง 180 ฉันไม่พบสิ่งผิดปกติและไม่มีข้อผิดพลาดเลยดังนั้นฉันจึงมองหาวิธีอื่น วิธีการง่ายๆ

ใช้IF NOT FOUND THENหลังจากSELECTเพียงแค่ทำงานได้อย่างสมบูรณ์แบบสำหรับฉัน

(อธิบายไว้ในเอกสารประกอบ PostgreSQL )

ตัวอย่างจากเอกสาร:

SELECT * INTO myrec FROM emp WHERE empname = myname;
IF NOT FOUND THEN
  RAISE EXCEPTION 'employee % not found', myname;
END IF;

psycopgs ระดับเคอร์เซอร์มีแอตทริบิวต์rowcount

แอ็ตทริบิวต์อ่านอย่างเดียวนี้ระบุจำนวนของแถวที่ execute * () ที่สร้างล่าสุด (สำหรับคำสั่ง DQL เช่น SELECT) หรือได้รับผลกระทบ (สำหรับคำสั่ง DML เช่น UPDATE หรือ INSERT)

ดังนั้นคุณสามารถลองอัปเดตก่อนและใส่เฉพาะเมื่อ rowcount เป็น 0

แต่ขึ้นอยู่กับระดับกิจกรรมในฐานข้อมูลของคุณคุณอาจพบกับสภาพการแข่งขันระหว่าง UPDATE และ INSERT โดยที่กระบวนการอื่นอาจสร้างระเบียนนั้นขึ้นในระหว่างกาล

ดูเหมือนว่าคอลัมน์ของคุณ "ร้อย" จะถูกกำหนดเป็นคีย์หลักและดังนั้นจึงต้องไม่ซ้ำกันซึ่งไม่ใช่กรณี ปัญหาไม่ได้เกิดจากข้อมูลของคุณ

ฉันขอแนะนำให้คุณใส่รหัสเป็นประเภทอนุกรมเพื่อใช้คีย์หลักในมือ

หากคุณบอกว่าหลายแถวเหมือนกันคุณจะสิ้นสุดการตรวจสอบหลายครั้ง คุณสามารถส่งพวกเขาและฐานข้อมูลจะกำหนดว่าจะแทรกหรือไม่ด้วยประโยค ON CONFLICT ดังต่อไปนี้

  INSERT INTO Hundred (name,name_slug,status) VALUES ("sql_string += hundred  
  +",'" + hundred_slug + "', " + status + ") ON CONFLICT ON CONSTRAINT
  hundred_pkey DO NOTHING;" cursor.execute(sql_string);

ฉันกำลังมองหาโซลูชันที่คล้ายกันพยายามค้นหา SQL ที่ทำงานใน PostgreSQL เช่นเดียวกับ HSQLDB (HSQLDB เป็นสิ่งที่ทำให้สิ่งนี้ยาก) โดยใช้ตัวอย่างของคุณเป็นพื้นฐานนี่เป็นรูปแบบที่ฉันพบที่อื่น

sql = "INSERT INTO hundred (name,name_slug,status)"
sql += " ( SELECT " + hundred + ", '" + hundred_slug + "', " + status
sql += " FROM hundred"
sql += " WHERE name = " + hundred + " AND name_slug = '" + hundred_slug + "' AND status = " + status
sql += " HAVING COUNT(*) = 0 );"

นี่คือฟังก์ชั่นหลามทั่วไปที่ได้รับ tablename คอลัมน์และค่าสร้างสุดยอดเทียบเท่าสำหรับ postgresql

นำเข้า json

def upsert(table_name, id_column, other_columns, values_hash):

    template = """
    WITH new_values ($$ALL_COLUMNS$$) as (
      values
         ($$VALUES_LIST$$)
    ),
    upsert as
    (
        update $$TABLE_NAME$$ m
            set
                $$SET_MAPPINGS$$
        FROM new_values nv
        WHERE m.$$ID_COLUMN$$ = nv.$$ID_COLUMN$$
        RETURNING m.*
    )
    INSERT INTO $$TABLE_NAME$$ ($$ALL_COLUMNS$$)
    SELECT $$ALL_COLUMNS$$
    FROM new_values
    WHERE NOT EXISTS (SELECT 1
                      FROM upsert up
                      WHERE up.$$ID_COLUMN$$ = new_values.$$ID_COLUMN$$)
    """

    all_columns = [id_column] + other_columns
    all_columns_csv = ",".join(all_columns)
    all_values_csv = ','.join([query_value(values_hash[column_name]) for column_name in all_columns])
    set_mappings = ",".join([ c+ " = nv." +c for c in other_columns])

    q = template
    q = q.replace("$$TABLE_NAME$$", table_name)
    q = q.replace("$$ID_COLUMN$$", id_column)
    q = q.replace("$$ALL_COLUMNS$$", all_columns_csv)
    q = q.replace("$$VALUES_LIST$$", all_values_csv)
    q = q.replace("$$SET_MAPPINGS$$", set_mappings)

    return q


def query_value(value):
    if value is None:
        return "NULL"
    if type(value) in [str, unicode]:
        return "'%s'" % value.replace("'", "''")
    if type(value) == dict:
        return "'%s'" % json.dumps(value).replace("'", "''")
    if type(value) == bool:
        return "%s" % value
    if type(value) == int:
        return "%s" % value
    return value


if __name__ == "__main__":

    my_table_name = 'mytable'
    my_id_column = 'id'
    my_other_columns = ['field1', 'field2']
    my_values_hash = {
        'id': 123,
        'field1': "john",
        'field2': "doe"
    }
    print upsert(my_table_name, my_id_column, my_other_columns, my_values_hash)

การแก้ปัญหาในง่าย ๆ แต่ไม่ใช่ในทันที
หากคุณต้องการใช้คำสั่งนี้คุณต้องทำการเปลี่ยนแปลงหนึ่งครั้งกับ db:

ALTER USER user SET search_path to 'name_of_schema';

หลังจากการเปลี่ยนแปลง "INSERT" เหล่านี้จะทำงานได้อย่างถูกต้อง