SQL Server Bulk Insert 只需要部分字段时的方法

一、前言

在使用 SQL Server 进行批量数据导入时，如果只要导入部分字段而不是整个表的所有字段，该怎么实现呢？本文将详细讲解 SQL Server 的 Bulk Insert 只导入部分字段的方法，以及给出两个示例说明。

二、Bulk Insert 只导入部分字段的方法

在使用 SQL Server 的 Bulk Insert 命令进行数据导入时，通常需要在 SQL 语句中指定每个字段的具体位置。但如果只需要导入表中的部分字段，可以使用以下方法：

1. 在 SQL Server 数据库中创建一个“格式文件”，指定要导入的字段的位置和数据类型，具体格式如下：

9.0
3
1 SQLCHAR 0 10 "," 1 Col1 SQL_Latin1_General_CP1_CI_AS
2 SQLCHAR 0 20 "," 2 Col2 SQL_Latin1_General_CP1_CI_AS
3 SQLCHAR 0 30 "\r\n" 3 Col3 SQL_Latin1_General_CP1_CI_AS

上述格式文件中，第一行指定版本号；第二行指定字段数目；第三行指定每个字段的位置、数据类型和名称，以及导入数据时每行字段之间使用的分隔符和每行结束时的分隔符。

1. 在 SQL Server 数据库中创建一个“临时表”或“目标表”，将要导入的字段和格式文件中指定的字段一一对应，具体格式如下：

CREATE TABLE #TempTable
(
    Col1 VARCHAR(10),
    Col2 VARCHAR(20),
    Col3 VARCHAR(30)
);

上述 SQL 语句创建了一个名为 #TempTable 的临时表，其中包含了三个列：Col1、Col2 和 Col3，数据类型分别为 VARCHAR(10)、VARCHAR(20) 和 VARCHAR(30)，对应于格式文件中的三个字段。

1. 使用 Bulk Insert 命令进行数据导入时，指定要导入的源文件、格式文件和目标表，数据将被插入到目标表中所对应的列中，具体格式如下：

BULK INSERT #TempTable
FROM 'C:\Data\SourceData.csv'
WITH
(
    FORMATFILE = 'C:\Data\FormatFile.fmt',
    FIELDTERMINATOR = ',',  
    ROWTERMINATOR = '\r\n',
    FIRSTROW = 2 
);

上述 SQL 语句使用 Bulk Insert 命令将指定的 CSV 文件导入到 #TempTable 临时表中。其中，FORMATFILE 指定格式文件所在的位置，FIELDTERMINATOR 指定字段之间的分隔符，ROWTERMINATOR 指定行结束的分隔符，FIRSTROW 指定从源文件的第几行开始读取数据。

三、示例说明

以下是两个示例说明，分别演示了如何使用 SQL Server 的 Bulk Insert 命令只导入部分字段的方法。

示例一：导入 CSV 文件中的部分字段

假设有一个名为 SourceData.csv 的 CSV 文件，包含三个字段：字段1、字段2 和字段3。我们只需导入其中的第一和第三个字段到 SQL Server 数据库中。

1. 创建格式文件，只指定字段1和字段3的位置和数据类型：

9.0
2
1 SQLCHAR 0 10 "," 1 字段1 SQL_Latin1_General_CP1_CI_AS
3 SQLCHAR 0 30 "\r\n" 2 字段3 SQL_Latin1_General_CP1_CI_AS

上述格式文件中只包含两个字段：字段1（位于第一列）和字段3（位于第三列），两列之间使用逗号分隔，每行结束使用回车符和换行符分隔。

1. 创建目标表：

CREATE TABLE #TempTable
(
    字段1 VARCHAR(10),
    字段3 VARCHAR(30)
);

上述 SQL 语句创建了一个名为 #TempTable 的临时表，其中包含了两个列：字段1 和 字段3，数据类型分别为 VARCHAR(10) 和 VARCHAR(30)，与格式文件中指定的两个字段对应。

1. 使用 Bulk Insert 命令导入 CSV 文件中的数据：

BULK INSERT #TempTable
FROM 'C:\Data\SourceData.csv'
WITH
(
    FORMATFILE = 'C:\Data\FormatFile.fmt',
    FIELDTERMINATOR = ',',  
    ROWTERMINATOR = '\r\n',
    FIRSTROW = 2 
);

上述 SQL 语句将 CSV 文件导入到 #TempTable 临时表中，只导入了第一列和第三列的数据。

示例二：导入Excel文档中的部分字段

假设有一个名为 SourceData.xlsx 的 Excel 文档，包含三个字段：字段1、字段2 和字段3。我们只需导入其中的第二和第三个字段到 SQL Server 数据库中。

1. 创建格式文件，只指定字段2和字段3的位置和数据类型：

9.0
2
2 SQLCHAR 0 20 "," 2 字段2 SQL_Latin1_General_CP1_CI_AS
3 SQLCHAR 0 30 "\r\n" 3 字段3 SQL_Latin1_General_CP1_CI_AS

上述格式文件中只包含两个字段：字段2（位于第二列）和字段3（位于第三列），两列之间使用逗号分隔，每行结束使用回车符和换行符分隔。

1. 创建目标表：

CREATE TABLE #TempTable
(
    字段2 VARCHAR(20),
    字段3 VARCHAR(30)
);

上述 SQL 语句创建了一个名为 #TempTable 的临时表，其中包含了两个列：字段2 和 字段3，数据类型分别为 VARCHAR(20) 和 VARCHAR(30)，与格式文件中指定的两个字段对应。

1. 使用 Bulk Insert 命令导入 Excel 文档中的数据：

BULK INSERT #TempTable
FROM 'C:\Data\SourceData.xlsx'
WITH
(
    FORMATFILE = 'C:\Data\FormatFile.fmt',
    FORMAT = 'CSV',
    FIELDTERMINATOR = ',',
    FIRSTROW = 2
);

上述 SQL 语句将 Excel 文档导入到 #TempTable 临时表中，只导入了第二列和第三列的数据。

四、总结

本文详细讲解了 SQL Server Bulk Insert 只需要部分字段时的方法，并提供了两个示例说明，希望对大家的 SQL Server 数据库开发工作有所帮助。Bulk Insert 命令在数据导入方面有着非常出色的性能和效率，使用起来比较灵活，但要注意格式文件和目标表的设置，以及数据源文件的格式和位置等。