使用Springboot+poi上传并处理百万级数据EXCEL

下面我将为您详细讲解如何使用Springboot+poi上传并处理百万级数据EXCEL的完整攻略。

1. 准备工作

在使用Springboot+poi上传并处理百万级数据EXCEL前，需要先完成以下准备工作：

1. 确保已经安装好了Java环境，建议使用JDK 1.8及以上版本；
2. 确保已经安装好了Maven，可以通过Maven来管理项目依赖；
3. 需要引入Springboot和poi相关依赖，可以在pom.xml文件中配置。

引入依赖后，可以通过以下方式创建Springboot项目：

mvn archetype:generate -DgroupId=com.demo -DartifactId=excel -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false

2. 实现上传和处理百万级数据Excel

2.1 实现上传Excel

首先需要在Controller中实现上传Excel的接口，代码如下：

@RestController
public class ExcelController {
    @PostMapping("/upload")
    public String uploadExcel(@RequestParam("file") MultipartFile file) {
        // 处理上传的Excel文件
        return "上传成功";
    }
}

需要注意的是，这里需要引入MultipartFile类来接收上传的Excel文件。

2.2 解析Excel数据

对于Excel文件的解析，可以使用Apache POI库。通过POI库可以轻松读取Excel文件，并将其中的数据转换为Java对象。

以下是解析Excel数据的代码示例：

public List<Student> readExcel(MultipartFile file) {
    List<Student> studentList = new ArrayList<>();
    try {
        Workbook workbook = WorkbookFactory.create(file.getInputStream());
        Sheet sheet = workbook.getSheetAt(0);
        int rowStart = sheet.getFirstRowNum() + 1;
        int rowEnd = sheet.getLastRowNum();
        for (int rowNum = rowStart; rowNum <= rowEnd; rowNum++) {
            Row row = sheet.getRow(rowNum);
            if (row == null) {
                continue;
            }
            Student student = new Student();
            student.setName(row.getCell(0).getStringCellValue());
            student.setAge((int) row.getCell(1).getNumericCellValue());
            student.setGender(row.getCell(2).getStringCellValue());
            studentList.add(student);
        }
        workbook.close();
    } catch (Exception e) {
        e.printStackTrace();
    }
    return studentList;
}

其中，Student是一个简单的Java对象，用于表示Excel中的一行数据。

2.3 批量插入数据库

最后，需要将解析出的数据批量插入到数据库中。这里可以使用Mybatis-Plus来实现插入操作。

以下是批量插入数据的代码示例：

public void insertStudentList(List<Student> studentList) {
    try {
        studentMapper.insertBatch(studentList);
    } catch (Exception e) {
        e.printStackTrace();
    }
}

在这里，需要将studentMapper替换为自己项目中的Mapper。

2.4 完整代码示例

总的代码示例如下：

@RestController
public class ExcelController {

    private final StudentMapper studentMapper;

    public ExcelController(StudentMapper studentMapper) {
        this.studentMapper = studentMapper;
    }

    @PostMapping("/upload")
    public String uploadExcel(@RequestParam("file") MultipartFile file) {
        List<Student> studentList = readExcel(file);
        insertStudentList(studentList);
        return "上传并处理成功";
    }

    private List<Student> readExcel(MultipartFile file) {
        List<Student> studentList = new ArrayList<>();
        try {
            Workbook workbook = WorkbookFactory.create(file.getInputStream());
            Sheet sheet = workbook.getSheetAt(0);
            int rowStart = sheet.getFirstRowNum() + 1;
            int rowEnd = sheet.getLastRowNum();
            for (int rowNum = rowStart; rowNum <= rowEnd; rowNum++) {
                Row row = sheet.getRow(rowNum);
                if (row == null) {
                    continue;
                }
                Student student = new Student();
                student.setName(row.getCell(0).getStringCellValue());
                student.setAge((int) row.getCell(1).getNumericCellValue());
                student.setGender(row.getCell(2).getStringCellValue());
                studentList.add(student);
            }
            workbook.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
        return studentList;
    }

    private void insertStudentList(List<Student> studentList) {
        try {
            studentMapper.insertBatch(studentList);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

3. 示例说明

3.1 单文件上传示例

在前端页面上添加一个文件上传组件，并将文件上传至后台的Springboot应用，Springboot应用会自动解析Excel数据并插入到数据库中。

前端代码示例：

<form method="post" enctype="multipart/form-data">
    <input type="file" name="file"/>
    <button type="submit">上传</button>
</form>

3.2 批量上传示例

可以通过定时任务或扫描指定目录的方式，批量上传多个Excel文件。通过使用ThreadPoolExecutor等线程池技术，可以同时处理多个上传文件。

以下是批量上传示例的代码：

@Scheduled(cron = "0 0 1 * * ?")
public void uploadExcelTask() {
    // 获取待上传文件列表
    List<File> fileList = getFileList();
    // 定义线程池处理上传任务
    ExecutorService executor = Executors.newFixedThreadPool(fileList.size());
    for (File file : fileList) {
        executor.submit(() -> {
            try {
                uploadExcel(file);
                // 处理成功后删除文件
                file.delete();
            } catch (Exception e) {
                e.printStackTrace();
            }
        });
    }
    // 关闭线程池
    executor.shutdown();
}

private List<File> getFileList() {
    List<File> fileList = new ArrayList<>();
    // 获取待上传文件夹路径
    String folderPath = "D:/upload";
    File folder = new File(folderPath);
    if (folder.exists() && folder.isDirectory()) {
        File[] files = folder.listFiles();
        if (files != null) {
            fileList = Arrays.asList(files);
        }
    }
    return fileList;
}

private void uploadExcel(File file) {
    try {
        FileInputStream inputStream = new FileInputStream(file);
        MultipartFile multipartFile = new MockMultipartFile(file.getName(), inputStream);
        List<Student> studentList = readExcel(multipartFile);
        insertStudentList(studentList);
    } catch (Exception e) {
        e.printStackTrace();
    }
}

在这里，getFileList方法是用来获取待上传的Excel文件列表，uploadExcel方法是用来处理单个Excel文件的上传和插入操作，uploadExcelTask方法则是用来批量上传和插入多个Excel文件。

至此，使用Springboot+poi上传并处理百万级数据Excel的完整攻略就介绍完毕了。