唯一行 (哈希值)帮助文档

唯一行（哈希值）步骤用于删除重复的行，仅保留唯一的匹配项，可根据字段来剔重，多个字段间的关系是“并且”，配置信息如图1所示。

                            

 

                                                                                   图1 整体配置信息

 

下文详细解释各控件的含义：

1、转换步骤名称：步骤的名称，在单一转换中，名称必须唯一。

2、使用存储的记录值进行比较？：勾选之后，会将指定的字段值放置于内存中进行比较，可以提高效率，如果比较行数较多，则会占用大量内存。

3、重定向重复记录：勾选之后，会把剔除的数据，当作错误数据输出到另一个数据流，如图2所示，将唯一行（哈希值）连接到输出步骤（空操作）时选择错误处理步骤。

                                                             

 

                                                                                   图2错误处理步骤

如需对步骤错误处理进行设置，右键点击该步骤图标，选择定义错误处理，将弹出“步骤错误处理设置”窗口，如图3所示，必须要勾选“启用错误处理”，其它根据需要进行填写。注：如果要输出至数据库表中需在目标表里面建立对应的字段：“错误数列名”、“错误描述列名”（对应图1中“重定向重复记录”的错误描述）、“错误列的列名”、“错误编码列名”，其中“错误描述列名”为必填；最后三个条件，根据实际需求填写，如果不满足其中一个条件，转换会自动停止，也可不填。

                             

 

                                                                                 图3错误步骤设置信息

4、用来比较的字段：

（1）字段名称：下拉选择需要进行比较剔重的字段名。

 

文章原创首发于：https://ckettle.ccsaii.com.cn/help/StepPluginType/UniqueRowsByHashSet?s=****

更多CKettle内容，欢迎点击上述链接学习。