StreamSets RDBMS2Hbase开发流程

SDC开发流程及名词解释

 

1、首先创建一个SDC的pipeline：

 

2、拖进来我们要用的组件（JDBC QUERY、HBASE）

 

3、我们可以在右边栏选择我们想用的组件

 

4、组件参数配置：（JDBC QUERY）

第一步：配置错误记录的报错方式，选send to error

第二步：配置JDBC页

jdbc连接正常配，下边用户认证和增量模式打上勾，sql quer 要遵循以下格式：

        SELECT * FROM table WHERE id > ${OFFSET} ORDER BY id

 

上图的Initial Offset和Offset column要与query里的条件保持一致

例:Initial:${OFFSET}  OffsetColumn:id

Root Field Type:用默认的List-Map（存档类型）

Query interval:根据实际情况设置查询轮询间隔

Max Batch Size:每次提交的数据量，1000即可

Max Clob Size:一次读取的最大数据量

Number OfRetries on SQL ERROR:sql执行报错重试次数

第三步：配置用户认证页（数据库访问用户密码）

 

 

5、组件参数配置：（Hbase）

 

    第一步：配置错误记录的报错方式，选send to error

 

       第二步：配置HBase

      

 

Zookeeper Quorum:ZK队列配置

ZK Port:ZK端口号

ZK PZ:固定，\hbase hbase的元数据目录

Table Name:目标表表明

Row Key:类似于主键

Storage Type:地层文件存储类型

 

Fields:配置字段映射关系，PG字段对应Hbase字段名

Ignore Missing Field：忽略空字段

Implicit field mapping：自动匹配字段映射，勾上这个我们就不用配置字段映射了(fields)

Ignore Invalid Column：忽略空行

最后启动任务就好了：