hive and spark 实训报告
1.正确安装jdk2.正确配置Hadoop平台
3.正确配置hive
4.正确配置flume
5.正确配置sqoop
6.首先在hive上创建leibo表
7.flume监控目录,上传文件到hive的leibo表下
8.查看数据
可视化
1.利用Hive分析“数据分析”、“大数据开发工程师”、“数据采集”等岗位的平均工资、最高工资、最低工资;分析结果如下:
2.利用Hive分析“数据分析”、“大数据开发工程师”、“数据采集”等大数据相关岗位在成都、北京、上海、广州、深圳的岗位数,并做饼图将结果展示出来。分析结果如下:
3.利用Hive分析大数据相关岗位1-3年工作经验的薪资水平(平均工资、最高工资、最低工资),并做出条形图展示出来;
分析结果如下:
利用sqoop技术存储到mysql数据库中
第一张表(one)第二张表
第三张表:
连接mysql将存到MySQL里的数据通过可视化展示出来
第一个可视化
第二个可视化
第三个可视化