您的位置: 首页  >  文章  >  Linux安装Hadoop

Linux安装Hadoop

分类: 文章 • 2022-10-19 11:51:19

解压：

tar zxvf hadoop.tar.gz

 

配置环境变量

export HADOOP_HOME_WARN_SUPPRESS=1

export HADOOP_HOME=/usr/local/hadoop

export JAVA_HOME=/usr/local/jdk1.7

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

 

修改4个文件：

1.hadoop-env.sh：

第九行修改JAVA_HOME=自己的jdk目录, ***注意前边的‘#’要去掉***

2.core-site.xml:

<configuration>

    <property>

<name>fs.default.name</name>

<value>hdfs://hadoop:9000</value>

<description>注意：这里要修改主机名</description>

    </property>

    <property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

    </property>  

</configuration>

3.hdfs-site.xml:

<configuration>

    <property>

<name>dfs.replication</name>

<value>1</value>

    </property>

    <property>

<name>dfs.permissions</name>

<value>false</value>

    </property>

</configuration>

4.mapred-site.xml

<configuration>

    <property>

<name>mapred.job.tracker</name>

<value>hadoop:9001</value>

<description>注意：这里要修改主机名</description>

    </property>

</configuration>

 

格式化hadoop：

hadoop namenode -format

 

启动：start-all.sh[关闭命令为：stop-all.sh]

会出现一个警告，Warning:/usr/local/hadoop is deprecated

问题出现在/usr/local/hadoop/bin 下面的hadopop-config.sh下面

if [ "$HADOOP_HOME_WARN_SUPPRESS" = "" ] && [ "$HADOOP_HOME" != "" ]; then

  echo "Warning: \$HADOOP_HOME is deprecated." 1>&2

  echo 1>&2

fi

解决方式是在环境变量里配置: HADOOP_HOME_WARN_SUPPRESS

 

验证：

1.输入jps，显示出5个java进程  NameNode, SecondaryNameNode, DataNode,  JobTracker, TaskTracker

2.在linux浏览器中，输入网址验证

http://hadoop:50070   NameNode web server 信息 NameNode管理DataNode， 点击下面的Live Nodes 点进去，能发现一个DataNode 

http://hadoop:50030   Map/Reduce 信息 说明JobTracker进程是活着的， 点击下面的Nodes 发现一个TaskTracker

3.在windows浏览器输入网址验证：

将windows的ip和主机名绑定，修改C:\Windows\System32\drivers\etc下的HOSTS,加一行192.168.1.152 hadoop

 

安装没成功，常见问题：

1.hadoop没有格式化

2.配置文件只拷贝过来，没做修改

3.hostname和ip没有绑定

若没配置成功，多次格式化也是错误的，解决方案是删除/usr/local/hadoop/tmp文件夹，在重新格式化，走一遍

 

 

eclipse导入hadoop源码

1.新建一个工程，随便起一个名字

2.将解压后的hadoop目录下src里边的core, hdfs, mapred拷贝到工程的src下

3.将上面三个文件夹变成source文件夹[这一点挺重要的]

Linux安装Hadoop

先删除原来的src，然后点右边添加按钮，将三个文件夹前边打钩

4.导入hadoop目录下的lib目录里边的所有的包，另加上javaee-1.6.jar 和 ant.jar

5.修改jre，用自己的，要不import sun.xxxxxx会报错[sun包开头的是开发jdk用的]

Linux安装Hadoop

 

微信搜索OnlyServer或长摁下方二维码关注技术公众号

关注后我能得到什么?

1.架构师成神之路-最新60套视频资源-【免费下载】

2.400多人的微信技术群，干净，没广告，气氛活跃

3.各类技术，项目，实战****丰富，想学的都有

               =长摁关注=

Linux安装Hadoop

   =回复加群进微信技术群=

   =回复1024下载视频资源=
————————————————
版权声明：本文为****博主「mp_ok」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.****.net/mp_ok/article/details/104464127

相关推荐