数据迁移（sqoop）mysql->hdfs 和 Hdfs->mysql

一、使用sqoop导入Mysql数据到HDFS
在集群中的第五个mysql数据节点新建数据库
远程连接mysql数据库

远程连接数据库查看表

使用sqoop导入mysql数据到HDFS


网页查看

使用指定的分隔符



导入指定条件的数据



导入指定查询语句的数据



查询验证

4、使用sqoop导出HDFS数据到mysql
准备导出表

创建导出文件位置，并导出所有字段




创建导出文件位置，导出表时指定分隔符



批量导出



5、使用sqoop导入mysql数据到Hive
导入表的所有字段到Hive





导入指定字段到hive表中
创建Hive表



将常用的sqoop脚本定义成作业，方便其他人调用（使用sqoop2）

启动sqoop2

创建数据库连接

查看创建的连接信息

建立HDFS文件系统连接

查看连接信息

在hdfs创建用于存放导出的数据文件目录

创建数据传输事务


查看创建的事务信息

启动数据传输事务

查看事务状态

查看导出的数据文件列表和导出的数据信息



出现错误
1、测试与mysql连通时出错

解决：下载avro-1.8.1.jar包
上传至sqoop安装目录
2、导入所有字段到Hive中时出错

解决方案

3、启动事务时出错，解决：给emp表添加主键，重新创建job