Java: แทรกหลายแถวใน MySQL ด้วย PreparedStatement


88

ฉันต้องการแทรกหลายแถวลงในตาราง MySQL พร้อมกันโดยใช้ Java จำนวนแถวเป็นแบบไดนามิก เมื่อก่อนผมทำ ...

for (String element : array) {
    myStatement.setString(1, element[0]);
    myStatement.setString(2, element[1]);

    myStatement.executeUpdate();
}

ฉันต้องการปรับให้เหมาะสมเพื่อใช้ไวยากรณ์ที่รองรับ MySQL:

INSERT INTO table (col1, col2) VALUES ('val1', 'val2'), ('val1', 'val2')[, ...]

แต่ด้วยความที่PreparedStatementฉันไม่รู้วิธีทำสิ่งนี้เนื่องจากฉันไม่รู้มาก่อนว่าarrayจะมีองค์ประกอบกี่อย่าง ถ้าเป็นไปไม่ได้ด้วย a PreparedStatementฉันจะทำได้อย่างไร (และยังคงหลบหนีค่าในอาร์เรย์)

คำตอบ:


178

คุณสามารถสร้างชุดด้วยและดำเนินการได้โดยการPreparedStatement#addBatch()PreparedStatement#executeBatch()

นี่คือตัวอย่างการเริ่มต้น:

public void save(List<Entity> entities) throws SQLException {
    try (
        Connection connection = database.getConnection();
        PreparedStatement statement = connection.prepareStatement(SQL_INSERT);
    ) {
        int i = 0;

        for (Entity entity : entities) {
            statement.setString(1, entity.getSomeProperty());
            // ...

            statement.addBatch();
            i++;

            if (i % 1000 == 0 || i == entities.size()) {
                statement.executeBatch(); // Execute every 1000 items.
            }
        }
    }
}

มีการดำเนินการทุกๆ 1,000 รายการเนื่องจากไดรเวอร์ JDBC และ / หรือ DBs บางตัวอาจมีข้อจำกัดความยาวของแบทช์

ดูเพิ่มเติม :


26
เม็ดมีดของคุณจะเร็วขึ้นถ้าคุณใส่ไว้ในธุรกรรม ... เช่นตัดกับconnection.setAutoCommit(false);และconnection.commit(); download.oracle.com/javase/tutorial/jdbc/basics/…
Joshua Martell

1
ดูเหมือนว่าคุณสามารถรันชุดงานเปล่าได้หากมี 999 รายการ
djechlin

2
@electricalbah จะดำเนินการตามปกติเพราะi == entities.size()
Yohanes AI

นี่เป็นอีกแหล่งข้อมูลที่ดีในการรวมงานแบทช์เข้าด้วยกันโดยใช้งบที่เตรียม viralpatel.net/blogs/batch-insert-in-java-jdbc
Danny Bullis

1
@ AndréPaulo: เพียงแค่ใส่ SQL ใดก็ได้ที่เหมาะสมสำหรับคำสั่งที่เตรียมไว้ อ้างถึงลิงก์บทช่วยสอน JDBC สำหรับตัวอย่างพื้นฐาน สิ่งนี้ไม่เกี่ยวข้องกับคำถามที่เป็นรูปธรรม
BalusC

32

เมื่อคนขับ MySQL จะใช้คุณต้องเชื่อมต่อพระรามชุดจริงrewriteBatchedStatements( jdbc:mysql://localhost:3306/TestDB?**rewriteBatchedStatements=true**)

ด้วยพารามิเตอร์นี้คำสั่งจะถูกเขียนใหม่เป็นการแทรกจำนวนมากเมื่อตารางถูกล็อคเพียงครั้งเดียวและดัชนีจะอัปเดตเพียงครั้งเดียว ดังนั้นจึงเร็วกว่ามาก

หากไม่มีข้อดีข้อเดียวคือซอร์สโค้ดที่สะอาดกว่า


นี่คือข้อคิดเห็นสำหรับประสิทธิภาพสำหรับการก่อสร้าง: statement.addBatch (); ถ้า ((i + 1)% 1000 == 0) {statement.executeBatch (); // ดำเนินการทุกๆ 1,000 รายการ }
MichalSv

เห็นได้ชัดว่าไดรเวอร์ MySQL มีบั๊กบั๊กmysql.com/bug.php?id=71528สิ่งนี้ยังทำให้เกิดปัญหาสำหรับกรอบ ORM เช่น Hibernate hibernate.atlassian.net/browse/HHH-9134
Shailendra

ใช่. ตอนนี้ก็ถูกต้องเช่นกัน อย่างน้อยสำหรับ5.1.45เวอร์ชันตัวเชื่อมต่อ mysql
v.ladynev

<artifactId> mysql-connector-java </artifactId> <version> 8.0.14 </version> เพิ่งตรวจสอบว่าถูกต้องของ 8.0.14 ไม่มีการเพิ่มrewriteBatchedStatements=trueประสิทธิภาพการทำงาน
vincent Mathew

8

หากคุณสามารถสร้างคำสั่ง sql ของคุณแบบไดนามิกคุณสามารถแก้ไขปัญหาดังต่อไปนี้:

String myArray[][] = { { "1-1", "1-2" }, { "2-1", "2-2" }, { "3-1", "3-2" } };

StringBuffer mySql = new StringBuffer("insert into MyTable (col1, col2) values (?, ?)");

for (int i = 0; i < myArray.length - 1; i++) {
    mySql.append(", (?, ?)");
}

myStatement = myConnection.prepareStatement(mySql.toString());

for (int i = 0; i < myArray.length; i++) {
    myStatement.setString(i, myArray[i][1]);
    myStatement.setString(i, myArray[i][2]);
}
myStatement.executeUpdate();

ฉันเชื่อว่าคำตอบที่ได้รับการยอมรับนั้นดีกว่ามาก !! ฉันไม่รู้เกี่ยวกับการอัปเดตแบตช์และเมื่อฉันเริ่มเขียนคำตอบนี้คำตอบนี้ยังไม่ได้ส่ง !!! :)
Ali Shakiba

แนวทางนี้เร็วกว่าแนวทางที่ยอมรับมาก ฉันทดสอบ แต่ไม่พบสาเหตุ @JohnS รู้ไหมว่าทำไม?
julian0zzx

@ julian0zzx ไม่ แต่อาจเป็นเพราะมันถูกเรียกใช้งานเป็น sql เดียวแทนที่จะเป็นหลาย ๆ แต่ฉันไม่แน่ใจ.
Ali Shakiba

3

ในกรณีที่คุณมีการเพิ่มอัตโนมัติในตารางและต้องการเข้าถึง .. คุณสามารถใช้แนวทางต่อไปนี้ ... ทำการทดสอบก่อนใช้เพราะ getGeneratedKeys () ใน Statement เนื่องจากขึ้นอยู่กับไดรเวอร์ที่ใช้ โค้ดด้านล่างนี้ได้รับการทดสอบกับ Maria DB 10.0.12 และ Maria JDBC driver 1.2

โปรดจำไว้ว่าการเพิ่มขนาดแบทช์จะช่วยเพิ่มประสิทธิภาพในระดับหนึ่งเท่านั้น ...

public Connection getConnection(boolean autoCommit) throws SQLException {
    Connection conn = dataSource.getConnection();
    conn.setAutoCommit(autoCommit);
    return conn;
}

private void testBatchInsert(int count, int maxBatchSize) {
    String querySql = "insert into batch_test(keyword) values(?)";
    try {
        Connection connection = getConnection(false);
        PreparedStatement pstmt = null;
        ResultSet rs = null;
        boolean success = true;
        int[] executeResult = null;
        try {
            pstmt = connection.prepareStatement(querySql, Statement.RETURN_GENERATED_KEYS);
            for (int i = 0; i < count; i++) {
                pstmt.setString(1, UUID.randomUUID().toString());
                pstmt.addBatch();
                if ((i + 1) % maxBatchSize == 0 || (i + 1) == count) {
                    executeResult = pstmt.executeBatch();
                }
            }
            ResultSet ids = pstmt.getGeneratedKeys();
            for (int i = 0; i < executeResult.length; i++) {
                ids.next();
                if (executeResult[i] == 1) {
                    System.out.println("Execute Result: " + i + ", Update Count: " + executeResult[i] + ", id: "
                            + ids.getLong(1));
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
            success = false;
        } finally {
            if (rs != null) {
                rs.close();
            }
            if (pstmt != null) {
                pstmt.close();
            }
            if (connection != null) {
                if (success) {
                    connection.commit();
                } else {
                    connection.rollback();
                }
                connection.close();
            }
        }
    } catch (SQLException e) {
        e.printStackTrace();
    }
}

3

@Ali Shakiba รหัสของคุณต้องการการแก้ไขบางอย่าง ส่วนข้อผิดพลาด:

for (int i = 0; i < myArray.length; i++) {
     myStatement.setString(i, myArray[i][1]);
     myStatement.setString(i, myArray[i][2]);
}

อัปเดตรหัส:

String myArray[][] = {
    {"1-1", "1-2"},
    {"2-1", "2-2"},
    {"3-1", "3-2"}
};

StringBuffer mySql = new StringBuffer("insert into MyTable (col1, col2) values (?, ?)");

for (int i = 0; i < myArray.length - 1; i++) {
    mySql.append(", (?, ?)");
}

mysql.append(";"); //also add the terminator at the end of sql statement
myStatement = myConnection.prepareStatement(mySql.toString());

for (int i = 0; i < myArray.length; i++) {
    myStatement.setString((2 * i) + 1, myArray[i][1]);
    myStatement.setString((2 * i) + 2, myArray[i][2]);
}

myStatement.executeUpdate();

นี่เป็นแนวทางที่เร็วและดีกว่าในคำตอบทั้งหมด นี่ควรเป็นคำตอบที่ยอมรับได้
Arun Shankar

1
ดังที่กล่าวไว้ในคำตอบที่ยอมรับไดร์เวอร์ / ฐานข้อมูล JDBC บางตัวมีข้อ จำกัด เกี่ยวกับจำนวนแถวที่คุณสามารถรวมไว้ในคำสั่ง INSERT ในกรณีของตัวอย่างข้างต้นหากmyArrayมีความยาวมากกว่าขีด จำกัด คุณจะได้รับข้อยกเว้น ในกรณีของฉันฉันมีขีด จำกัด 1,000 แถวซึ่งทำให้เกิดความจำเป็นในการดำเนินการแบทช์เนื่องจากฉันอาจอัปเดตมากกว่า 1,000 แถวในการเรียกใช้ใด ๆ คำสั่งประเภทนี้ในทางทฤษฎีควรทำงานได้ดีหากคุณรู้ว่าคุณกำลังแทรกน้อยกว่าจำนวนสูงสุดที่อนุญาต สิ่งที่ควรทราบ
Danny Bullis

เพื่อชี้แจงคำตอบข้างต้นกล่าวถึงข้อ จำกัด ของไดรเวอร์ / ฐานข้อมูล JDBC เกี่ยวกับความยาวแบทช์ แต่อาจมีข้อ จำกัด เกี่ยวกับจำนวนแถวที่รวมอยู่ในคำสั่งแทรกดังที่ฉันเคยเห็นในกรณีของฉัน
Danny Bullis

0

เราสามารถส่งการอัปเดตหลายรายการร่วมกันใน JDBC เพื่อส่งการอัปเดตชุดงาน

เราสามารถใช้วัตถุ Statement, PreparedStatement และ CallableStatement สำหรับการอัปเดต bacth โดยปิดการใช้งาน autocommit

addBatch ()และexecuteBatch ()ฟังก์ชันพร้อมใช้งานกับวัตถุคำสั่งทั้งหมดที่มี BatchUpdate

ที่นี่ addBatch () วิธีการเพิ่มชุดของคำสั่งหรือพารามิเตอร์ให้กับชุดงานปัจจุบัน

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.