(一)hadoop之安装
-
安装JDK和设置环境变量
参考:https://blog.****.net/weixin_38312719/article/details/89052062 -
下载hadoop
wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz -
解压
tar -xzvf hadoop-2.7.7.tar.gz
安装完成 -
使用hadoop自带的案例进行演示(检索一个文件夹下所有文件中某个字符串出现的次数)
在testdata目录下新建test_01_input目录,用于存放我们需要检索的数据源
编辑a.txt,输入一些数据
回到hadoop家目录下,输入上面命令 检索‘wuxinxin’出现的次数,运行结果保存在testdata/test_01_output目录下
可以看到会自动创建指定的结果目录,在test_01_output目录下,part-r-0000文件中存放了结果,出现的次数是两次,正确