Java实现JDBC批量插入原理详解

为什么使用JDBC批量插入？

当需要将大量数据存入数据库时，常规的操作是采用循环逐条插入的方式，此种方式会严重影响效率且容易出现内存溢出等问题。而使用JDBC批量插入，可以有效提高插入效率，减少内存消耗，缩短程序执行时间。

JDBC批量插入是怎么工作的？

JDBC批量插入是通过使用PreparedStatement的addBatch()方法实现的。addBatch()方法可以将一系列的SQL语句添加到一个批次中，只需要一次性提交批处理即可完成多条SQL语句的操作。

如何使用JDBC批量插入？

1. 先创建一个PreparedStatement对象，用于执行SQL语句。

Connection conn = null;
PreparedStatement ps = null;
String sql = "INSERT INTO user(id, name, age) values (?, ?, ?)";
try {
    conn = dataSource.getConnection();
    ps = conn.prepareStatement(sql);
} catch (SQLException e) {
    e.printStackTrace();
}

1. 按照顺序设置PreparedStatement中的参数。

ps.setInt(1, 1);
ps.setString(2, "John");
ps.setInt(3, 18);

1. 把上一步的设置对象添加到批次中。

ps.addBatch();

1. 不断重复以上步骤，直到批次中积累足够多的SQL语句。

2. 一次性执行整个批次。

ps.executeBatch();

1. 最后，记得释放资源。

ps.close();
conn.close();

示例1：批量插入用户数据

以下是一段示例代码，演示如何使用JDBC批量插入：

String sql = "INSERT INTO user(id, name, age) VALUES (?, ?, ?)";
try {
    conn = dataSource.getConnection();
    PreparedStatement ps = conn.prepareStatement(sql);
    for (int i = 0; i < userList.size(); i++) {
        ps.setInt(1, userList.get(i).getId());
        ps.setString(2, userList.get(i).getName());
        ps.setInt(3, userList.get(i).getAge());
        ps.addBatch();
        if (i % batchSize == 0) {
            ps.executeBatch();
        }
    }
} catch (SQLException e) {
    e.printStackTrace();
}

在这个示例中，我们使用addBatch()方法将所有需要插入的用户数据添加到批次中，当批次中SQL语句的数量达到一定值（在本示例中是batchSize），就执行executeBatch()方法一次性将整个批次的语句执行。

示例2：批量插入图书数据

以下是一个更复杂的示例代码，演示如何使用JDBC批量插入和流处理来读取文件中的数据：

String sql = "INSERT INTO book(title, author, price) VALUES (?, ?, ?)";
try {
    conn = dataSource.getConnection();
    PreparedStatement ps = conn.prepareStatement(sql);
    BufferedReader br = new BufferedReader(new FileReader("books.txt"));
    String line;
    int count = 0;
    while ((line = br.readLine()) != null) {
        String[] data = line.split(",");
        String title = data[0];
        String author = data[1];
        double price = Double.parseDouble(data[2]);
        ps.setString(1, title);
        ps.setString(2, author);
        ps.setDouble(3, price);
        ps.addBatch();
        count++;
        if (count % batchSize == 0) {
            ps.executeBatch();
        }
    }
    ps.executeBatch();
    ps.close();
    conn.close();
} catch (SQLException | IOException e) {
    e.printStackTrace();
}

在这个示例代码中，我们通过BufferedReader从文件中读取数据，并按照逗号分割每行数据。然后，使用JDBC批量插入的方式，批量插入到数据库中，对于大批量数据的输入有很好地支持，从而提供了程序执行效率。

总结

通过使用JDBC批量插入，不仅能大大提高插入效率，减少内存消耗，还能释放CPU时间，提升程序执行效率。建议在需要批量插入大量数据时，使用这种方式，以获得更好的应用程序性能和体验。