使用Sqoop进行数据导入

 

配置ssh的免密登录

终端输入：sudo service ssh restart重启ssh服务。

终端输入：sudo service mysql start开启mysql。

配置免密登陆：rm -rf ~/.ssh/再输入ssh-******敲三下回车

输入ssh-copy-id [email protected]

输入yes，需要输入password的地方输入[email protected]即可，以后启动hdfs的时候就不需要多次输入密码了。 

 

1.导入到hdfs中

在终端中输入：start-dfs.sh

 输入jps查看进程：

之后输入：start-yarn.shk开启yarn

输入jps查看

之后输入：sqoop import --connect jdbc:mysql://localhost:3306/lydsj --username root -P --table tbl_gender --target-dir /mysql/output --m 1将数据库中的数据导入到hdfs的目录下，过程中要输入数据库密码（我的为000000）。需要等待一段时间。

使用hadoop fs -cat /mysql/output/part-m-00000查看导入的结果

 

2.导入到hbase中

在开启了hdfs和yarn的情况下，输入：zkServer.sh start开启Zookeeper，之后输入start-hbase.sh开启hbase。

输入jps查看进程：

在终端中输入hbase shell

输入：create 'tbl_dim','info'创建一张表

 输入quit退出hbase shell

然后输入命令sqoop import -m 1 --connect jdbc:mysql://localhost:3306/lydsj --username root --password 000000 --table tbl_dimensioncat --hbase-table tbl_dim --columns DIMCATID,DIMENSIONNAME,MEMO --column-family info --hbase-row-key DIMCATID

将数据导入到Hbase中

再在终端输入habse shell然后在shell中输入scan 'tbl_dim'查看表中的内容

结束。