使用 Bulk Copy 将大量数据复制到数据库

文/xiaotian 出处:csdn.net

如果一次要向数据库服务器提交多条记录 , 通常会执行多次Insert命令 , 这样就为要插入的每个记录执行一次与数据库服务器的往返 , 这就给服务器增加了压力 , 效率也大大的降低了...
.Net FrameWork 2.0 新增功能 Bulk Copy 可以很快将大量数据加载到数据库中 , 现在利用这一新功能来实现上述功能.
这里从 MS Sql Server 2000 的 NorthWind 的 Orders 表加载数据到 DateTable 模拟要向数据库服务器提交的多条记录集 . 用 Tempdb 库来模拟目标数据库服务器 .
先在 Tempdb 建一个表 temp_orders

USE TEMPDB
CREATE TABLE TEMP_ORDERS
(
    TEMP_ORDERID INT,
    TEMP_CUSTOMERID NCHAR(5),
    TEMP_ORDERDATE DATETIME,
    TEMP_SHIPNAME NVARCHAR(40)
)下面为模拟程序
    protected void Page_Load(object sender, EventArgs e)
    {
        #region 从NorthWind的Orders表获取要插入的数据
        DataTable dtNorthWindOrders = new DataTable();
        using ( SqlConnection northWindConnection = new SqlConnection( "Data Source=.;Initial Catalog=NorthWind;Integrated Security=True" ) )
        {
            using ( SqlDataAdapter northWindAdapter = new SqlDataAdapter( "SELECT ORDERID,CUSTOMERID,ORDERDATE,SHIPNAME FROM ORDERS" , northWindConnection ) )
            {
                northWindAdapter.Fill( dtNorthWindOrders );
            }
        }
        #endregion

        using ( SqlConnection tempdbConnection = new SqlConnection( "Data Source=.;Initial Catalog=Tempdb;Integrated Security=True" ) )
        {
            tempdbConnection.Open( );

            using ( SqlTransaction tran = tempdbConnection.BeginTransaction( ) )
            {
                SqlBulkCopy bulkCopyOrders = new SqlBulkCopy( tempdbConnection , SqlBulkCopyOptions.Default , tran );
                bulkCopyOrders.DestinationTableName = "TEMP_ORDERS";
                //将数据源表字段和目标表的字段做个映射
                bulkCopyOrders.ColumnMappings.Add( "ORDERID" , "TEMP_ORDERID" );
                bulkCopyOrders.ColumnMappings.Add( "CUSTOMERID" , "TEMP_CUSTOMERID" );
                bulkCopyOrders.ColumnMappings.Add( "ORDERDATE" , "TEMP_ORDERDATE" );
                bulkCopyOrders.ColumnMappings.Add( "SHIPNAME" , "TEMP_SHIPNAME" );

                bulkCopyOrders.BulkCopyTimeout = 1000;

                //每处理10行触发一个事件向页面上输出一个消息
                bulkCopyOrders.SqlRowsCopied += new SqlRowsCopiedEventHandler( onRowsCopy );
                bulkCopyOrders.NotifyAfter = 10;

                try
                {
                    bulkCopyOrders.WriteToServer( dtNorthWindOrders );
                    tran.Commit( );
                }
                catch ( Exception ex )
                {
                    Response.Write( ex.ToString( ) );
                }
                finally
                {
                    dtNorthWindOrders = null;
                }
            }
        }
    }

    private void onRowsCopy ( object Sender , SqlRowsCopiedEventArgs args )
    {
        Response.Write("已复制:<font color=red>"+ args.RowsCopied.ToString( ) + "</font><br />" );
    }

通过SQL SERVER 事件探察器发现执行的SQL为:
insert bulk TEMP_ORDERS ([TEMP_ORDERID] Int, [TEMP_CUSTOMERID] NChar(5) COLLATE Chinese_PRC_CI_AS, [TEMP_ORDERDATE] DateTime, [TEMP_SHIPNAME] NVarChar(40) COLLATE Chinese_PRC_CI_AS)通过运行程序可以看出这个速度是相当的快 , 使用这个方法的最大优点是 : 减少对数据库的访问次数 .
WriteToServer不仅可以处理 DataTable 对象 , 还可以处理 DataReader , DataRow 对象数组 .

 感谢原创者的辛勤劳动,希望对您有所帮助,转载请注明原出处。
 您可能对 [SQL] 的这些文章也感兴趣:

数据访问-与数据库建立连接
跟NHibernate之夏一起学习NHibernate
利用SQL注入缺陷进行攻击的方法及代码
根据规则自动生成序列号
NHibernate系列(5):探索Insert, Update, Delete操作
SQL数据语言的快速入门之一
一个查询带有[]的经典语句
在各种数据库中如何限制检索行数?
SQL语句 SELECT LIKE like用法详解
Windows 服务器系统通用引擎路线图