Oracle 高速批量数据加载工具sql*loader使用说明

什么是sql*loader

sqlloader是Oracle官方提供的一个高速批量数据加载工具，可用于将大量数据批量加载到数据库中。与Oracle的SQL语句插入数据相比，sqlloader具有更好的性能和效率，特别是在处理大型数据时，表现更加优异。

如何使用sql*loader

1. 准备数据源文件
   首先，你需要准备好要加载的数据源文件，文件格式可以为CSV、TXT等。文件中的数据必须按照表结构进行分隔，并且需要符合Oracle数据库数据类型标准。

2. 编写控制文件
   控制文件是sql*loader加载数据时的一个关键文件，必须正确地设置相应的参数和格式。以下是一个简单的控制文件示例：

LOAD DATA
INFILE 'data.csv'  -- 数据源文件名
INTO TABLE emp  -- 要插入的表名
FIELDS TERMINATED BY ',' -- 按照逗号分隔
OPTIONALLY ENCLOSED BY '"' -- 可选的列值引号
TRAILING NULLCOLS  -- 如果数据源中某一列为空，则填充空值
(empno,ename,job,mgr,hiredate,sal,comm,deptno)

以上控制文件将数据源文件data.csv中的数据按照逗号分隔，从第1列(empno)到第8列(deptno)，分别映射到emp表中的各个字段。如果数据源中有某些列的值为空，那么在插入时会自动填充为NULL。

1. 执行加载操作
   执行如下命令即可开始数据加载：

sqlldr userid=scott/tiger@ORCL control=emp.ctl log=emp.log

其中，userid为数据库账号密码及数据库名称，control为控制文件名称，log为sql*loader执行日志文件名。

sql*loader常见参数

• userid：数据库账号密码及数据库名称。
• control：指定控制文件名称。
• data：指定数据源文件名称。
• log：指定日志文件名称。
• bad：指定错误日志文件名称。
• discard：指定插入失败的数据文件名称。
• skip：指定忽略的数据行数。
• bindsize：指定一次批量读取数据的字节数。
• rows：指定一次插入的记录数。
• multithreading：指定启用多线程插入数据。

sql*loader使用示例

示例1. 简单数据加载

假设emp表中有empno、ename、job、hiredate、sal等字段，数据源文件为data.csv，可以按照以下步骤来执行数据加载：

1. 准备数据源文件data.csv。
2. 编写控制文件emp.ctl：

LOAD DATA
INFILE 'data.csv'
INTO TABLE emp
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
TRAILING NULLCOLS
(empno,ename,job,hiredate,sal)

1. 执行加载操作：

sqlldr userid=scott/tiger@ORCL control=emp.ctl log=emp.log

示例2. 一次性加载大量数据

假设需要向emp表批量插入10万条数据，可以按照以下步骤来执行数据加载：

1. 准备数据源文件data.csv。
2. 编写控制文件emp.ctl：

LOAD DATA
INFILE 'data.csv'
INTO TABLE emp
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
TRAILING NULLCOLS
(empno,ename,job,hiredate,sal)

1. 修改默认的bindsize、rows参数，在控制文件开头添加：

OPTIONS (BINDSIZE 1000000, ROWS 100000)

1. 执行加载操作：

sqlldr userid=scott/tiger@ORCL control=emp.ctl log=emp.log

以上示例中，通过修改bindsize、rows参数，一次性加载了10万条数据，大大提高了数据加载的速度与效率。

参考文献

1. SQL*Loader文档
2. SQL*Loader工具详解