Sqoop初识(一)——基本概念及使用

什么是Sqoop

      Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
      Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目 —— [ 百度百科 ]

      从以上定义可以看出,Sqoop主要作用是将数据在关系型数据库与HDFS或HIVE之间进行传输,由于关系型数据库与HVIE无之间无法直接交互,作为哪里有问题,哪里就有解决方案,所以Sqoop就应运而生。

Sqoop简单实用

注:以下命令均在已安装sqoop的linux上使用,如还未安装请先安装
键入sqoop help,控制台得到如下内容
Sqoop初识(一)——基本概念及使用
      可以看到当前sqoop支持的一些命令,如最常用的version(查看sqoop版本)、import(从关系型数据库导入HDFS)、export(从HDFS导入关系型数据库)等,在这里笔者不详细解释了,稍微有点英语功底的人应该都可以看到命令后面的说明。学习一门技术最好的方法无外乎是看官方文档以及使用help命令查看详细描述,虽然可能刚开始会痛苦一些,但后期一定会轻松些,笔者也在一点点适应。
      开篇比较简单,接下来我们会深入去对导入及导出进行了解及学习。

      附上Sqoop官方地址:http://sqoop.apache.org/