C# 使用SqlBulkCopy类批量复制大数据

C#使用SqlBulkCopy类批量复制大数据的完整攻略

在C#中，可以使用SqlBulkCopy类批量复制大数据。本文将为您提供一份完整攻略，包括SqlBulkCopy类的使用方法、注意事项和两个示例说明。

SqlBulkCopy类

SqlBulkCopy类是.NET Framework中的一个类，用于将大量数据从一个数据源复制到另一个数据源。SqlBulkCopy类可以将数据从一个数据源复制到另一个数据源，例如从一个SQL Server表复制到另一个SQL Server表，或从一个SQL Server表复制到一个Excel文件。

使用SqlBulkCopy类批量复制大数据

在C#中，可以按照以下步骤使用SqlBulkCopy类批量复制大数据：

1. 创建一个SqlBulkCopy对象，并设置目标表的名称和连接字符串。
2. 设置SqlBulkCopy对象的列映射，将源表的列映射到目标表的列。
3. 调用SqlBulkCopy对象的WriteToServer方法，将数据写入目标表。

以下是示例代码：

using System.Data.SqlClient;

// 创建连接字符串
string connectionString = "Data Source=(local);Initial Catalog=MyDatabase;Integrated Security=True";

// 创建SqlBulkCopy对象
using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connectionString))
{
    // 设置目标表的名称
    bulkCopy.DestinationTableName = "MyTable";

    // 设置列映射
    bulkCopy.ColumnMappings.Add("SourceColumn1", "DestinationColumn1");
    bulkCopy.ColumnMappings.Add("SourceColumn2", "DestinationColumn2");

    // 将数据写入目标表
    bulkCopy.WriteToServer(dataTable);
}

示例1：从一个SQL Server表复制到另一个SQL Server表

在这个示例中，我们将使用SqlBulkCopy类从一个SQL Server表复制到另一个SQL Server表。可以按照以下步骤进行操作：

1. 创建一个SqlBulkCopy对象，并设置目标表的名称和连接字符串。
2. 设置SqlBulkCopy对象的列映射，将源表的列映射到目标表的列。
3. 调用SqlBulkCopy对象的WriteToServer方法，将数据写入目标表。

以下是示例代码：

using System.Data.SqlClient;

// 创建连接字符串
string sourceConnectionString = "Data Source=(local);Initial Catalog=SourceDatabase;Integrated Security=True";
string destinationConnectionString = "Data Source=(local);Initial Catalog=DestinationDatabase;Integrated Security=True";

// 创建SqlBulkCopy对象
using (SqlBulkCopy bulkCopy = new SqlBulkCopy(destinationConnectionString))
{
    // 设置目标表的名称
    bulkCopy.DestinationTableName = "DestinationTable";

    // 设置列映射
    bulkCopy.ColumnMappings.Add("SourceColumn1", "DestinationColumn1");
    bulkCopy.ColumnMappings.Add("SourceColumn2", "DestinationColumn2");

    // 查询源表的数据
    using (SqlConnection sourceConnection = new SqlConnection(sourceConnectionString))
    {
        SqlCommand command = new SqlCommand("SELECT * FROM SourceTable", sourceConnection);
        sourceConnection.Open();

        SqlDataReader reader = command.ExecuteReader();

        // 将数据写入目标表
        bulkCopy.WriteToServer(reader);
    }
}

示例2：从一个CSV文件复制到一个SQL Server表

在这个示例中，我们将使用SqlBulkCopy类从一个CSV文件复制到一个SQL Server表。可以按照以下步骤进行操作：

1. 读取CSV文件的数据，并将其转换为DataTable对象。
2. 创建一个SqlBulkCopy对象，并设置目标表的名称和连接字符串。
3. 设置SqlBulkCopy对象的列映射，将源表的列映射到目标表的列。
4. 调用SqlBulkCopy对象的WriteToServer方法，将数据写入目标表。

以下是示例代码：

using System.Data;
using System.Data.SqlClient;
using System.IO;

// 创建连接字符串
string connectionString = "Data Source=(local);Initial Catalog=MyDatabase;Integrated Security=True";

// 读取CSV文件的数据，并将其转换为DataTable对象
DataTable dataTable = new DataTable();
using (StreamReader reader = new StreamReader("data.csv"))
{
    string line;
    string[] values;

    // 读取表头
    line = reader.ReadLine();
    values = line.Split(',');
    foreach (string value in values)
    {
        dataTable.Columns.Add(value);
    }

    // 读取数据
    while ((line = reader.ReadLine()) != null)
    {
        values = line.Split(',');
        DataRow row = dataTable.NewRow();
        for (int i = 0; i < values.Length; i++)
        {
            row[i] = values[i];
        }
        dataTable.Rows.Add(row);
    }
}

// 创建SqlBulkCopy对象
using (SqlBulkCopy bulkCopy = new SqlBulkCopy(connectionString))
{
    // 设置目标表的名称
    bulkCopy.DestinationTableName = "MyTable";

    // 设置列映射
    bulkCopy.ColumnMappings.Add("Column1", "DestinationColumn1");
    bulkCopy.ColumnMappings.Add("Column2", "DestinationColumn2");

    // 将数据写入目标表
    bulkCopy.WriteToServer(dataTable);
}

注意事项

在使用SqlBulkCopy类批量复制大数据时，需要注意以下事项：

1. SqlBulkCopy类只能用于将数据从一个数据源复制到另一个数据源，不能用于在同一个数据源中复制数据。
2. SqlBulkCopy类的性能非常高，但在复制大量数据时可能会占用大量内存。
3. SqlBulkCopy类的使用需要掌握相关的API和语法。

总结

通过本文的学习，您可以了解C#使用SqlBulkCopy类批量复制大数据的方法，并掌握SqlBulkCopy类的使用方法、注意事项和从一个SQL Server表复制到另一个SQL Server表、从一个CSV文件复制到一个SQL Server表的示例代码。在实际应用中，可能需要注意数据源的选择、性能优化和API和语法的掌握等问题。