虚拟机Hadoop集群配置安装及运行

Hadoop集群配置及运行

一、集群配置

1、修改安装好的hadoop260文件的用户权限,修改为root用户。

  • chown -R root:root hadoop260/
    虚拟机Hadoop集群配置安装及运行
    2、设置JDK,进入安装好的hadoop260文件下的etc/hadoop/目录下,编辑hadoop-env.sh文件。
    虚拟机Hadoop集群配置安装及运行
    虚拟机Hadoop集群配置安装及运行
    3、配置hadoop文件系统,进入安装好的hadoop260文件下的etc/hadoop/目录下,编辑core-site.xml文件。
    虚拟机Hadoop集群配置安装及运行
    虚拟机Hadoop集群配置安装及运行
    4、设置hadoop replicas备份,进入安装好的hadoop260文件下的etc/hadoop/目录下,编辑hdfs-site.xml文件。
    虚拟机Hadoop集群配置安装及运行
    虚拟机Hadoop集群配置安装及运行
    5、配置hadoop mapreduce计算框架,首先将安装好的hadoop260文件下的etc/hadoop/目录下mapred-site.xml.template文件复制一份到mapred-site.xml文件中,再编辑mapred-site.xml文件。
    虚拟机Hadoop集群配置安装及运行
    虚拟机Hadoop集群配置安装及运行
    6、配置hadoop yarn管理调度,进入安装好的hadoop260文件下的etc/hadoop/目录下,编辑yarn-site.xml文件。
    虚拟机Hadoop集群配置安装及运行
    虚拟机Hadoop集群配置安装及运行
    7、配置hadoop slaves主机名,进入安装好的hadoop260文件下的etc/hadoop/目录下,编辑slaves文件。
    虚拟机Hadoop集群配置安装及运行
    虚拟机Hadoop集群配置安装及运行
    8、上述所有hadoop配置文件完成配置后,我们可以将主机上的存放hadoop260目录的上一级目录hadoop打包,分别远程拷贝到其余从机中,因为各个虚拟上的hadoop配置文件都相同。将压缩包远程拷贝各个虚拟机后,再解压缩,便可完成各个虚拟机的hadoop配置文件的配置。
  • 将hadoop目录打包到当前目录
    tar -zcf lunix-hadoop260.tar.gz hadoop/
  • 远程拷贝给各个从机
    scp lunix-hadoop260.tar.gz [email protected]_name:/opt/bigdata/
  • 在各个从机的/opt/bigdata目录下解压缩该压缩包,完成hadopp配置文件的配置
    tar -zxvf lunix-hadoop260.tar.gz

虚拟机Hadoop集群配置安装及运行
9、配置hadoop环境变量,在根目录下编辑/etc/目录下的profile文件,当主机上的环境变量配置完成后,同样可以用远程拷贝的方式,将环境变量配置拷贝给各个从机,前提是,里面的各个从机里目录的层级都和主机一样,否则拷贝过后需要修改环境变量配置。最后**各个虚拟机上的环境变量配置。

  • 远程拷贝环境变量配置
    scp /etc/profile [email protected]_name:/etc
  • **环境变量配置
    source /etc/profile

虚拟机Hadoop集群配置安装及运行
10、hadoop格式化HDFS,注意该步骤只在主机上进行格式化,进入安装的hadoop260文件夹的bin目录下格式化hdfs。见到以下结果,说明格式化成功。

  • 格式化hdfs
    hdfs namenode -format
    虚拟机Hadoop集群配置安装及运行

11 、配置hadoop-native库,将tar -xf hadoop-native-64-2.6.0.tar解压到安装好的hadoop260文件下的/lib/native目录下面。
虚拟机Hadoop集群配置安装及运行

二、运行

1、上述配置文件完成后,开始启动hadoop。进入hadoop260/sbin目录下,启动dfs和yarn以及jobhistory。

  • start-dfs.sh
  • start-yarn.sh
  • ./mr-jobhistory-daemon.sh start historyserver

2、查看hadoop服务状态,先查看主机服务状态,当显示下列结果说明,主机hadoop启动成功。
虚拟机Hadoop集群配置安装及运行
3、再查看每个从机hadoop服务状态
虚拟机Hadoop集群配置安装及运行
4、当上述主机和从机的hadoop服务状态都满足要求时,说明hadoop集群启动成功。最后浏览器访问hadoop页面成功即可。
虚拟机Hadoop集群配置安装及运行
虚拟机Hadoop集群配置安装及运行
虚拟机Hadoop集群配置安装及运行