Ubuntu18.04 配置hadoop3.2(伪分布式安装)并运行wordcount步骤

Ubuntu18.04 配置hadoop3.2(伪分布式安装)并运行wordcount步骤

  1. 下载hadoop 直接选3.2版本(目前最新) 64位linux走起
    记得配置好jdk 准备工作要做好
    然后解压hadoop 路径自己选择
  2. 教学用的是伪分布式,所以我也是按照伪分布式的步骤进行安装,在修改配置文件的时候
    注意修改路径!! 就是你hadoop安装在哪里\

Ubuntu18.04 配置hadoop3.2(伪分布式安装)并运行wordcount步骤
如图所示 同理hdfs-site.xml 也一样 不然重新格式化的时候会失败。
如果出现jdk not found 的错误 就在hadoop-env.sh 里修改JAVA_HOME把他改为绝对路径。
记得把#号去掉!!并且 source一下才能生效。

接下来运行hadoop
./sbin start-all.sh
jps查看当前运行的进程 没有发现datanode的话

Ubuntu18.04 配置hadoop3.2(伪分布式安装)并运行wordcount步骤

这里里面有一个version的文件
里面有这个东西
clusterID=*** 把name里面的clusterID 复制到 data里 保持两者一致。

jps 发现进程都出来拉
Ubuntu18.04 配置hadoop3.2(伪分布式安装)并运行wordcount步骤

创建用户拉 在终端找不到不用怕 因为我们这里是HDFS系统
直接 hadoop fs -ls / 就可以查看是否创建成功!!!

接下来运行例子!
wordcount /input /output
input ouput路径记得空格隔开!!!

Ubuntu18.04 配置hadoop3.2(伪分布式安装)并运行wordcount步骤

成功!!