(一)通过kettle读取csv文件到mysql表中

工作中遇到一个需求,源数据是从第三方平台导出的csv文件,现要将数据同步到库中,下面是通过kettle转换的具体实践:

csv文件内容,数据大概有10w多条,内容如下,excel打开有乱码:

(一)通过kettle读取csv文件到mysql表中

用文本工具打开没问题:涉密项目,关键信息打了码

(一)通过kettle读取csv文件到mysql表中

开始转换数据

1、先新建转换,我这里命名为trans_test

(一)通过kettle读取csv文件到mysql表中

2、在DB连接上新建库,建完后如右侧所示(因为读取csv文件上的是要存到mysql库中,所以这里先建DB连接信息)

(一)通过kettle读取csv文件到mysql表中(一)通过kettle读取csv文件到mysql表中

3、然后切换tab页到核心对象,按照下图所示,拖入如下控件到工作台中

(一)通过kettle读取csv文件到mysql表中

3.1 CSV文件输入,先选择csv文件,然后点获取字段可以将csv表头都读出来(类型可以根据实际情况调整)

(一)通过kettle读取csv文件到mysql表中

3.2 插入/更新

(一)通过kettle读取csv文件到mysql表中

3.3 写日志,这个就拉个控件出来,啥都不动,意思是把执行步骤给我打出来,类似java中的log4j,打个日志而已

运行前先需要保存这个转换文件,保存后点执行

(一)通过kettle读取csv文件到mysql表中

可以看执行结果,接下来的步骤我不想细说了,有兴趣的开发同步可以试试,有问题欢迎给我留言

(一)通过kettle读取csv文件到mysql表中