您的位置: 首页  >  文章  >  windows 安装hadoop 配置环境 与eclipse

windows 安装hadoop 配置环境 与eclipse

分类: 文章 • 2023-11-24 23:32:34

windows 安装hadoop 配置环境 与eclipse

  1. 安装JDK1.8，安装路径不能有空格 配置环境变量

  2. 下载并解压Hadoop-2.7.1，配置Hadoop相应的环境变量

  3. copy Hadoop-2.7.1/bin/winutils.exe、hadoop.dll文件到Windows/System32文件夹下

  4. 修改Hadoop-2.7.1/etc/hadoop/core、hdfs、mapred、yarn-site.xml、hadoop-env.cmd文件中的相关内容
    使用editPus (需要去掉备份功能防止生产.bak 文件)

    1. win_core_site.xml windows 安装hadoop 配置环境 与eclipse
    2. win_hdfs_site.xml windows 安装hadoop 配置环境 与eclipse
    3. win_mapred_site.xml windows 安装hadoop 配置环境 与eclipse
    4. win_slaves
      windows 安装hadoop 配置环境 与eclipse
    5. win_yarn-site.xml windows 安装hadoop 配置环境 与eclipse
      6.win_ hadoop-env.cmd windows 安装hadoop 配置环境 与eclipse
    6. C:\Windows\System32\drivers\etc\hosts windows 安装hadoop 配置环境 与eclipse

  5. .cmd窗口到hadoop的安装目录下的bin文件中hdfs namenode -format进行格式化
    （出现successful foramtted ）

  6. 到sbin文件中start-all.cmd启动hadoop服务。
    （我的实验出现四个弹窗，有erro为错误，需要检查）

  7. 登录http://localhost:50070/explorer.html#/查看是否成功。 overview 下面的live node的存货最少为1个

  8. 如果以上失败，需要重新格式化以前的步骤需要清空C:\tool\hadoop-2.7.1下面的datanode和namenode文件。

如果以上步骤成功，接下来安装eclipse环境

  1. 安装eclipse 拷贝hadoop的两个jar包到eclipse的plugins（eclipse的安装目录） windows 安装hadoop 配置环境 与eclipse
  2. 打开Window–>Preferens，可以看到Hadoop Map/Reduc选项，然后点击，然后添加安装hadoop的路 径进来
  3. 点击Window–>Show View -->MapReduce Tools 点击Map/ReduceLocation，点击Map/ReduceLocation选 项卡，点击右边小象图标，打开Hadoop Location配置窗口： 输入Location Name，任意名称即可.配置 Map/Reduce Master和DFS Mastrer，Host和Port配置成hdfs-site.xml与core-site.xml的设置一致即可。

如果连接成功，会出现hdfs上面的文件夹

总结：
1.JDK的安装路径不要有空格
2. 在path路径里把JAVA_HOME配置到最前面
3.把所有bak文件删除
4.重装JDK，要把所有之前的卸载干净
5.路径是斜杠，在路径之前也要斜杠

相关推荐