如何使用哈希字节删除SSIS中源表不匹配的记录

Question

我需要在SSIS中从源到目的地加载表。表格包含大约150万行。

到目前为止，我能够将新记录插入到目标表中，而不是在ID列上匹配，并且还更新那些与ID匹配的行，但不匹配HASHBYTES值。

这是我做了什么：

1. 使用OLEDB源连接到使用查找转换来重定向基于ID列行的数据库
2. 。
3. 使用DerivedColumn得到“RefreshDate”列
4. 如果ID不匹配，则插入行使用另一个Lookup转换，看是否与hashbutes目的地 表匹配tblEmployeesDestination
5. 。
6. 如果hashbytes不匹配，则使用OLEDB命令更新 目标表tblEmployeesDestination中的行。

---

我的问题是，什么是删除在didnt匹配源表的目标表中的行最好的方法是什么？

我应该使用哪种转换？

Answer 1

嗯，这取决于你的台面尺寸（1.5米 - 既不小，也不大），并已删除的记录数。

• 已删除记录的数量相当小（恕我直言，小于10000） - 然后在DataFlow转换中使用OLEDB命令，如图所示。这里的问题 - 每行都会生成一个单独的SQL命令，这使得它非常慢并且运行时间很长。
• 要删除的行数不小。比你可以在专用表中存储要删除的行的pkey，然后 - 使用SQL DELETE命令从主表中删除。
• 检查方法。您可以在单个t-SQL MERGE命令中执行几乎所有的操作 - 插入不匹配pkey的行，删除匹配pkey且不匹配哈希字节的行。优点 - MERGE在单个交易中运行，但需要您熟悉它，并可能需要optimize table indexes。