SQL Server选择并插入问题

Question

我在同一个数据库服务器上有两个名为DB1和DB2的数据库。我有DB2中的Table1和DB2中的Table2。目前，我正在使用插入select *来将表2中的所有数据转移到表1中（表1为空，我的目的是将表2中的数据复制到表1）。表结构是聚类ID列（GUID类型）和XML二进制（varbinary）数据列。

我目前的问题是，内存消耗非常高。有没有什么好的想法来减少内存消耗？我的主要想法是我可以初始化几个小事务并选择从每个事务插入部分数据。

我正在使用VSTS 2008 + C＃+ ADO.Net + SQL Server 2008 Enterprise。任何好的解决方案或参考样本？

这是我当前的代码，它会导致内存异常。我正在使用ADO.Net SQLBulkCopy功能。

namespace BulkCopyTable 
{ 
    public class CopyData 
    { 
     string _sourceConnectionString; 
     string _destinationConnectionString; 

     public CopyData(string sourceConnectionString, 
         string destinationConnectionString) 
     { 
      _sourceConnectionString = 
         sourceConnectionString; 
      _destinationConnectionString = 
         destinationConnectionString; 
     } 

     public void CopyTable(string table) 
     { 
      using (SqlConnection source = 
        new SqlConnection(_sourceConnectionString)) 
      { 
       string sql = string.Format("SELECT * FROM [{0}]", table); 

       SqlCommand command = new SqlCommand(sql, source); 

       source.Open(); 
       IDataReader dr = command.ExecuteReader(); 

       using (SqlBulkCopy copy = 
         new SqlBulkCopy(_destinationConnectionString)) 
       { 
        copy.DestinationTableName = table; 
        copy.WriteToServer(dr); 
       } 
      } 
     } 
    } 

    class Program 
    { 
     static void Main(string[] args) 
     { 
      CopyData copier = new CopyData(ConfigurationSettings.AppSettings["source"], ConfigurationSettings.AppSettings["destination"]); 
      Console.WriteLine("Begin Copy"); 
      copier.CopyTable(ConfigurationSettings.AppSettings["Table"]); 
      Console.WriteLine("End Copy"); 
      return; 
     } 
    } 
} 

Answer 1

我想你要设置批量大小，这样你就可以将它们分成可管理的部分。

Bulk copy batch size

检查是否有其他技术这个批量装载数据白皮书： Bulk load

Answer 2

您可以尝试使用BCP实用程序。

如果需要，可以使用Process类在C＃中运行。

Answer 3

这是一次性工作吗？如果是这样，你可以使用DTS或SSIS。
如果没有，看看你是否可以在框架使用SQLBulkCopy &相关类

编辑：我看到你的代码&可以使用BatchSize属性调用在WriteToServer之前建议。

Answer 4

会设置一个游标，遍历源表中的每一行，并为每个获取的行“插入选择”，使用更少的内存？ BOL有很多通过游标步进的例子。

---

更新：这是我复制从获取BOL T-SQL参考修正的例子/：（评论来自BOL文章，我只是在几个人的名字更改）

-- // Declare the variables to store the values returned by FETCH. 
DECLARE @id uniqueidentifier, @xml varbinary(4000) 

DECLARE myCursor CURSOR FOR 
SELECT id, xml FROM Table1 

OPEN myCursor 

-- // Perform the first fetch and store the values in variables. 
-- // Note: The variables are in the same order as the columns 
-- // in the SELECT statement. 

FETCH NEXT FROM myCursor 
INTO @id, @xml 

-- // Check @@FETCH_STATUS to see if there are any more rows to fetch. 
WHILE @@FETCH_STATUS = 0 
    BEGIN 

    -- // Do something with your values! 
    INSERT INTO db2..Table2 (id, xml) SELECT @id, @xml 

    -- // This is executed as long as the previous fetch succeeds. 
    FETCH NEXT FROM myCursor 
    INTO @id, @xml 

    END 

CLOSE myCursor 
DEALLOCATE myCursor