(一)通过kettle读取csv文件到mysql表中
工作中遇到一个需求,源数据是从第三方平台导出的csv文件,现要将数据同步到库中,下面是通过kettle转换的具体实践:
csv文件内容,数据大概有10w多条,内容如下,excel打开有乱码:
用文本工具打开没问题:涉密项目,关键信息打了码
开始转换数据
1、先新建转换,我这里命名为trans_test
2、在DB连接上新建库,建完后如右侧所示(因为读取csv文件上的是要存到mysql库中,所以这里先建DB连接信息)
3、然后切换tab页到核心对象,按照下图所示,拖入如下控件到工作台中
3.1 CSV文件输入,先选择csv文件,然后点获取字段可以将csv表头都读出来(类型可以根据实际情况调整)
3.2 插入/更新
3.3 写日志,这个就拉个控件出来,啥都不动,意思是把执行步骤给我打出来,类似java中的log4j,打个日志而已
运行前先需要保存这个转换文件,保存后点执行
可以看执行结果,接下来的步骤我不想细说了,有兴趣的开发同步可以试试,有问题欢迎给我留言