ETL工具Sqoop使用

ETL工具Sqoop使用

一：启动集群
Hadoop，Hbase，Hive，Sqoop使用admin用户进行操作。
启动Zookeeper服务





启动Hadoop集群


用jps命令查看

二：MySQL集群使用root用户进行操作




三：mysql->HDFS
MySQL集群使用root用户进行操作。
Hadoop，Hbase，Hive，Sqoop使用admin用户进行操作。
测试
(1)初始化Sqoop服务器连接操作

注：其中“host”和“port”分别为Sqoop服务器的主机名和服务器所使用的端口号，“port”采用默认的端口号“12000”，“webapp”为指定Sqoop的jetty服务器的标识名称，可以自己定义。
(2)查看服务器连接

(3)查看所有连接模板信息

建立MySQL测试表空间，表和数据
a.创建用户sqoop并授权，建立新的数据库

b.创建表并查询

c.插入测试语句

建立MySQL数据库连接
(1) 把MySQL的数据库连接工具包“mysql-connector-java-5.1.42-bin.jar”上传到用户家目录的“setups”目录下，该目录为事先自行创建用于存放实训相关软件包的目录。
(2) 将MySQL的数据库连接工具包添加到Sqoop的“extra”目录下

(3)创建数据库连接

(4)建立HDFS文件系统连接


(5)在HDFS创建用于存放导出的数据文件的目录

(6)创建数据传输事务



四：练习
在admin用户家目录/home/admin/新建一个文本文件test001.txt

从本地文件系统复制文件到HDFS文件系统

在MySQL提前创新好表结构


创建job并执行导入到mysql



在mysql查询导入的数据