Java之CSV大批量数据入库的实现

背景

在实际项目中，常常需要处理大量的数据，而CSV格式是一种很常见的数据格式，因此对于CSV数据进行入库操作是非常必要的。本文将介绍如何使用Java实现CSV大批量数据入库的实现。

准备工作

在开始正文之前，我们需要进行几个工作：

1. 导入相关依赖

在项目中需要使用opencsv来解析CSV文件，因此需要在maven或gradle中加入以下依赖：

<!-- opencsv -->
<dependency>
    <groupId>com.opencsv</groupId>
    <artifactId>opencsv</artifactId>
    <version>5.2</version>
</dependency>

1. 准备CSV文件

本文以一个用户数据的CSV文件为例，数据如下：

id,name,age,gender,is_valid
1,张三,23,male,true
2,李四,25,female,true
3,王五,27,male,true

实现过程

1. 定义实体类

首先，我们需要根据CSV文件的数据结构定义一个实体类，用于存储CSV文件中的数据。以用户数据为例，定义一个User类如下：

public class User {
    private Long id;
    private String name;
    private int age;
    private String gender;
    private boolean isValid;

    // getter and setter
}

1. 解析CSV文件

接下来，我们需要使用opencsv来解析CSV文件。opencsv提供了CSVReader类用于读取CSV文件中的数据，并返回一个二维字符串数组。可以在代码中如下定义CSVReader：

CSVReader csvReader = new CSVReader(new FileReader("users.csv"));
List<String[]> rows = csvReader.readAll();

1. 将解析后的数据转换为实体类列表

接下来，我们需要将二维字符串数组转换为实体类列表。代码如下：

List<User> users = rows.stream()
        .skip(1) // 跳过标题行
        .map(row -> new User(
                Long.parseLong(row[0]),
                row[1],
                Integer.parseInt(row[2]),
                row[3],
                "true".equals(row[4])
        ))
        .collect(Collectors.toList());

1. 批量入库

最后，我们只需要将实体类列表存入数据库即可。在这里，以JPA为例来完成批量入库。代码如下：

@Autowired
private UserRepository userRepository;

userRepository.saveAll(users);

示例

下面给出两个示例：

示例1：批量导入订单数据

假设有一个订单数据的CSV文件，格式如下：

order_no,product_name,price,quantity,is_paid
1001,手机,3999,1,true
1002,电视,6999,1,false
1003,电脑,8999,2,true

我们可以根据上述过程，定义一个Order实体类，并读取CSV文件，将数据转换为Order实体类列表，并批量入库。示例代码如下：

public class Order {
    private String orderNo;
    private String productName;
    private BigDecimal price;
    private int quantity;
    private boolean isPaid;

    // getter and setter
}

// 读取CSV文件
CSVReader csvReader = new CSVReader(new FileReader("orders.csv"));
List<String[]> rows = csvReader.readAll();

// 将解析后的数据转换为Order实体类列表
List<Order> orders = rows.stream()
        .skip(1)
        .map(row -> new Order(
                row[0],
                row[1],
                new BigDecimal(row[2]),
                Integer.parseInt(row[3]),
                "true".equals(row[4])
        ))
        .collect(Collectors.toList());

// 批量入库
@Autowired
private OrderRepository orderRepository;

orderRepository.saveAll(orders);

示例2：批量导入商品数据

假设有一个商品数据的CSV文件，格式如下：

id,name,description,price,inventory_count
1001,手机,智能手机，3999,1000
1002,电视,高清电视，6999,500
1003,电脑,台式电脑，8999,200

我们可以根据上述过程，定义一个Product实体类，并读取CSV文件，将数据转换为Product实体类列表，并批量入库。示例代码如下：

public class Product {
    private Long id;
    private String name;
    private String description;
    private BigDecimal price;
    private int inventoryCount;

    // getter and setter
}

// 读取CSV文件
CSVReader csvReader = new CSVReader(new FileReader("products.csv"));
List<String[]> rows = csvReader.readAll();

// 将解析后的数据转换为Product实体类列表
List<Product> products = rows.stream()
        .skip(1)
        .map(row -> new Product(
                Long.parseLong(row[0]),
                row[1],
                row[2],
                new BigDecimal(row[3]),
                Integer.parseInt(row[4])
        ))
        .collect(Collectors.toList());

// 批量入库
@Autowired
private ProductRepository productRepository;

productRepository.saveAll(products);

总结

本文中，我们介绍了如何使用Java实现CSV大批量数据入库的实现。具体实现过程包括定义实体类、解析CSV文件、将解析后的数据转换为实体类列表以及批量入库。实际项目中，我们可以根据具体需求对此进行适当的改进和优化。