Hadoop----单节点集群安装

Hadoop的安装模式

1. 单节点上的独立模式（Standalone/loacal）
   也叫本地模式，
   使用的文件系统：本地文件系统，运行在单个jvm上，一般用来进行开发测试MapReduce程序
2. 单节点上的伪分布模式（Pseudo-Distributed ）
   Hadoop可以在单节点上以伪分布式模式运行，其中每个Hadoop守护进程运行在单独的Java进程中。
3. 多节点的完全分布模式（Fully-Distributed）

安装条件

1. 操作平台
   Linux
2. 软件
   jdk-8u172-linux-x64.tar.gz
   hadoop-2.7.3.tar.gz

开始安装

1. 安装jdk
   1）在用户的主目录下新建目录apps
   2）上传jdk-8u172-linux-x64.tar.gz
   3）解压：tar -zvxf jdk-8u172-linux-x64.tar.gz
   
   
   4）创建解压文件夹的软连接
   ln -s jdk1.8.0_172 jdk
   
   5）配置环境变量
   vim ~/.bash_profile
   配置以下信息

     JAVA_HOME=/home/用户名/apps/jdk
	 PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
	 export JAVA_HOME PATH

6）重新加载配置文件
source ~/.bash_profile
注意：
配置后，因为不管是login shell还是non-login shell，都不会再加载配置文件，如果想重新加载配置文件，需要重新启动机器。如果不想重启，需要使用source或 .

7）检查是否配置成功
java -version
javac

2. 安装hadoop
   1)上传hadoop-2.7.3.tar.gz到apps
   2）解压hadoop压缩包
   tar -zvxf hadoop-2.7.3.tar.gz
   
   
   3）创建解压文件夹的软连接
   
   4)配置home/student/apps/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件
   配置以下信息
   JAVA_HOME=/home/用户名/apps/jdk
   
   

5)配置环境变量
vim ~/.bash_profile
配置以下信息

    HADOOP_HOME=/home/用户名/apps/hadoop
	PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
	export PATH HADOOP_HOME

6)重新加载配置文件
source ~/.bash_profile

7)检查是否配置成功 hadoop

8)执行官网上的独立模式的案例
$ mkdir input
$ cp hadoop-2.7.3/etc/hadoop/.xml input
$ hadoop jar hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output ‘dfs[a-z.]+’
$ cat output/

注意：

UnknowHostname:master 域名解析错误。
进入/etc/hosts文件，在文件末尾追加 【ip hostname】
重启机器生效