SQOOP关系型数据收集(hdfs的使用)和linux下mysql的简单操作
linux下mysql的基本使用方法
1 mysql的安装
1.1、复制下载地址,得到rmp包
1.2、wget+刚才复制的地址
例如:
若未找到wget命令,则先进行如下命令安装wget,然后再执行上述步骤:
1.3、安装mysql服务器:
过程中如果需要root权限,则(不要使用sudo):
2 mysql的配置
2.1、启动mysql
2.2、查看mysql运行状态
2.3、查看mysql的默认密码
2.4、进入数据库
2.5、登陆数据库
ps:一定要加上分号
2.6、修改数据库的密码
2.7、刷新权限
3 mysql数据库的创建mysql数据库的常见命令
3.1、创建数据库
3.2、查看当前创建好了的数据库
3.3、进入数据库test
3.4、查看表名
(下图显示的是空表)
3.5、创建名为student的表单
3.6、查看表单的组成成分
3.7、插入数据
一条一条插入:
一次性插入多条语句(在value后用逗号隔开):
3.8、查看student数据库内的数据(记得要加分号)
3.9、退出数据库
使用Sqoop将mysql数据表单导入HDFS分布式系统中
1 进入sqoop的下载目录,然后输入命令连接数据库
看到自己曾经创建的数据库则连接成功
2 将创建的test数据库中的内容导入到hdfs中
2.1、启动hdfs
2.2、导入hdfs
看到如下结果则导入成功
附 :关于hadoop fs的一些基本命令
-ls 查看指定目录下的内容
-rm 删除指定目录
-mkdir 在指定位置创建目录
-cat 输出文件内容
-cp 拷贝文件到目标位置
-dus 显示文件大小
-setrep 设置文件的备份级别
例如:
通过hdfs查看导入的student表中的数据存储目录
读取前100行数据
Linux基础知识和简单基本操作
常用目录操作命令
命令 | 功能 |
---|---|
pwd | 打印当前工作目录 |
cd | 改变当前所在目录 |
ls | 查看目录下的内容 |
dir | 类似ls命令 |
mkdir | 创建目录 |
rmdir | 删除空目录 |
常用文件操作命令
命令 | 功能 |
---|---|
cat | 查看文件的内容 |
more | 分页查看,空格键下一页,b键上一页 |
less | 分页查看,类似more,也可方向键滚动显示 |
head | 查看文件的前面部分,默认是前10行 |
tail | 查看文件的后面部分,默认是后10行 |
mv | 移动文件 |
rm | 删除文件 |
find | 检索文件 |