浅谈MyBatis原生批量插入的坑与解决方案

浅谈MyBatis原生批量插入的坑与解决方案

背景

在许多项目中，对于大量数据的批量插入操作，我们通常采取的是 MyBatis 的批量插入的方式。但是在实际操作中，我们可能会遇到一些问题，例如数据插入失败、效率问题等，这时候我们就需要深入了解 MyBatis 原生的批量插入的相关知识点，来解决这些问题。

插入失败的原因分析

在使用 MyBatis 的原生批量插入时，我们可能会遇到插入失败的情况。造成插入失败的原因可能有很多，下面我会列举两个具体的情况。

1. MySQL 中插入日期格式的错误

在 MySQL 数据库中，日期格式必须是 yyyy-MM-dd 或 yyyyMMdd 格式才能插入成功。如果日期字符串格式不正确，则会抛出如下异常：

org.apache.ibatis.exceptions.PersistenceException: 
Error querying database.  Cause: java.sql.BatchUpdateException: Incorrect date value: '2022-05-20 12:12:12' for column 'create_time' at row 1
The error may involve com.example.mapper.UserMapper.batchInsertByParameter-Inline
The error occurred while setting parameters

为了解决这个问题，我们可以在 SQL 语句中针对日期格式进行单独的处理，例如：

#{parameter.createTime, jdbcType=TIMESTAMP, javaType=java.util.Date, typeHandler=com.example.handler.TimestampHandler,jdbcTypeName=VARCHAR}

在这个处理器中，我们可以定义好日期的格式，这样就能够避免插入日期格式错误的数据了。

2. Oracle 中插入大量数据导致事务异常

在 Oracle 数据库中，进行大量数据插入操作时，可能会造成事务异常，导致插入失败。这种情况下，我们需要将大量的插入操作拆分成多个任务，分批插入。

解决方案

在了解了可能会遇到的插入失败问题后，我们可以采取以下方案解决这些问题。

1. 自定义类型转换器

我们可以通过自定义类型转换器来解决日期字符转换的问题，具体步骤如下：

1. 定义类型转换器。

```java
public class CustomTimestampHandler extends BaseTypeHandler {
@Override
public void setNonNullParameter(PreparedStatement ps, int i, Date parameter, JdbcType jdbcType) throws SQLException {
String dateString = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(parameter);
ps.setString(i, dateString);
}

  @Override
  public Date getNullableResult(ResultSet rs, String columnName) throws SQLException {
      Timestamp date = rs.getTimestamp(columnName);
      if (date != null) {
          return new Date(date.getTime());
      }
      return null;
  }

  @Override
  public Date getNullableResult(CallableStatement cs, int columnIndex) throws SQLException {
      Timestamp date = cs.getTimestamp(columnIndex);
      if (date != null) {
          return new Date(date.getTime());
      }
      return null;
  }

  @Override
  public Date getNullableResult(ResultSet rs, int columnIndex) throws SQLException {
      Timestamp date = rs.getTimestamp(columnIndex);
      if (date != null) {
          return new Date(date.getTime());
      }
      return null;
  }

}
```

1. 在 MyBatis 的配置文件中定义类型转换器

```xml

```

1. 在 SQL 语句中指定使用转换器

xml
#{parameter.createTime,jdbcType=TIMESTAMP,javaType=java.util.Date,typeHandler=com.example.handler.CustomTimestampHandler}

2. 分批插入

我们可以把大量的插入操作拆分成多个任务，分批插入。具体步骤如下：

1. 定义分批插入的 SQL

xml
<insert id="batchInsert" parameterType="java.util.List">
<foreach collection="list" item="item" index="index" separator=";">
INSERT INTO users (id, name, age) VALUES (#{item.id}, #{item.name}, #{item.age})
</foreach>
</insert>

1. 分批插入操作代码实现

java
private int BATCH_SIZE = 2000;
private int totalCount = 0;
for (int i = 0; i < dataList.size(); i+=BATCH_SIZE) {
List<Data> subDataList = dataList.subList(i, Math.min(i + BATCH_SIZE, dataList.size()));
totalCount += mapper.batchInsert(subDataList);
}

结语

经过以上的讲解，我们相信大家已经有了较为深入的理解，掌握了如何使用 MyBatis 原生的批量插入的方法，以及可能会遇到的问题的解决方案。在实际开发中，希望大家能够注意这些问题，提高代码的性能和健壮性。