Ubuntu18.04 配置hadoop3.2(伪分布式安装)并运行wordcount步骤
Ubuntu18.04 配置hadoop3.2(伪分布式安装)并运行wordcount步骤
- 下载hadoop 直接选3.2版本(目前最新) 64位linux走起
记得配置好jdk 准备工作要做好
然后解压hadoop 路径自己选择 - 教学用的是伪分布式,所以我也是按照伪分布式的步骤进行安装,在修改配置文件的时候
注意修改路径!! 就是你hadoop安装在哪里\
如图所示 同理hdfs-site.xml 也一样 不然重新格式化的时候会失败。
如果出现jdk not found 的错误 就在hadoop-env.sh 里修改JAVA_HOME把他改为绝对路径。
记得把#号去掉!!并且 source一下才能生效。
接下来运行hadoop
./sbin start-all.sh
jps查看当前运行的进程 没有发现datanode的话
这里里面有一个version的文件
里面有这个东西
clusterID=*** 把name里面的clusterID 复制到 data里 保持两者一致。
jps 发现进程都出来拉
创建用户拉 在终端找不到不用怕 因为我们这里是HDFS系统
直接 hadoop fs -ls / 就可以查看是否创建成功!!!
接下来运行例子!
wordcount /input /output
input ouput路径记得空格隔开!!!
成功!!