Sqoop1介绍和简单实用

# 概述：

Apache Sqoop（TM）是一种工具，用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据 。

安装

sqoop-1.4.7 

最新的稳定版本是1.4.7（下载， 文档）。Sqoop2的最新剪辑是1.99.7（下载， 文档）。请注意，1.99.7与1.4.7不兼容且功能不完整，不适用于生产部署。

# # 配置 sqoop-env.sh

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/hadoop/hadoop-2.6.5

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/hadoop/hadoop-2.6.5

#set the path to where bin/hbase is available
export HBASE_HOME=/opt/hbase-1.3.1

#Set the path to where bin/hive is available
export HIVE_HOME=/opt/hive-2.3.2

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/opt/zookeeper-3.4.10/conf

插入数据：

 sqoop import --connect jdbc:mysql://192.168.8.128:3306/test --username root --password root9211 --table student -- target-dir /sqoop/data --delete-target-dir --num-mappers 1 --fields-terminated-by '\t';

导入到hive中：

输入命令：

sqoop import --connect jdbc://服务器名：3306/datase名

--usename root 数据库名

--password rootxxxx 数据库表名

--table user 要导出的表名

--num-mappers 1

--hive--import 

--fields-terminated-by ‘\t’

--hive-overwrite

--hive-table user-sqoop；

导入命令：

sqoop export --connect jdbc:mysql：//192.168.8.128:3306/database名

--username root数据库名称

--password rootxxxx密码

--table user1目标表名

--num-mappers 1 map个数

--export-dir /user/hive/warehouse/表名即可   /导出的文件路径

--input-fields-terminated-by ‘\t’ 切割符

脚本化：

opt结尾的文件，然后执行文件即可

文件规则：以每个命令一行

sqoop  --options-file 具体的脚本文件路径

Sqoop常用命令