Hadoop综合大作业

Hadoop综合大作业 要求:

1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。

选一篇小说写

启动hadoop

Hadoop综合大作业

Hdfs上创建文件夹

Hadoop综合大作业

上传文件至hdfs

Hadoop综合大作业

启动Hive

Hadoop综合大作业

创建原始文档表

Hadoop综合大作业

导入文件内容到表nodacs并查看

Hadoop综合大作业

Hadoop综合大作业

用HQL进行词频统计,结果放在表words里

Hadoop综合大作业

查看统计结果

Hadoop综合大作业

Hadoop综合大作业Hadoop综合大作业

2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。

我爬取的京剧网信息词频统计后放到op.csv文件中:

将文件保存在邮箱,下载到虚拟机中,复制并改为csv模式

Hadoop综合大作业

将本地系统hadoop文件夹里的op.csv上传至hdfs的openginput文件夹中:

查看hdfs上的op.csv文件前20条数据的内容:

Hadoop综合大作业

启动Hive

Hadoop综合大作业

在数据库hive里创建文档表op:

Hadoop综合大作业

导入文件内容到表op:

Hadoop综合大作业

查看表的前20条数据:

Hadoop综合大作业