hadoop单机安装
下载hadoop-2.8.0
/application/xuteng/package 根目录
mkdir /usr/local/app/
`tar-zxvf hadoop-2.8.0.tar.gz -C/usr/local/app/
修改配置文件
cd /usr/local/app/hadoop-2.8.0/etc/hadoop
hadoop-env.sh
vim hadoop-env.sh
修改JAVA_HOME
vim core-site.xml 修改这个文件
fs.defaultFS 配置hadoop 默认文件和文件路径 使用hadoop默认目录
hadoop.temp.dir配置hadoop工作目录,我把他放在了安装目录下这个可以随便放
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.173:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/app/hadoop-2.8.0/tmp/</value>
</property>
</configuration>
vim hdfs-site.xml
dfs.replication 这个是hadoop文件系统他会保存多个文件副本到多个hadoop服务器默认3个,因为部署的是单机所有值给他设置1
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置mapred-site 里面有个临时文件把他重命名
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
mapreduce.framework.name mapreduce他是一个编程框架,必须指定执行这个程序的一个平台,平台是yarn
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
vim yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.1.173</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
vim slaves这个地方也是以后配置集群的重要文件
localhost 改成 192.168.1.173(你的主机名)
./bin/hdfs namenode -format 格式化hdfs文件系统(注意这个命令版本变更过)
cd ../sbin/
./hadoop-daemon.shstart namenode 启动hdfs主进程
./hadoop-daemon.sh start datanode 启动hdfs 数据节点进程
./hadoop-daemon.sh start secondarynamenode
Jps 查看启动的几个服务
http://192.168.1.173:50070/ 文件系统目录看有无成功
启动yarn服务
./yarn-daemon.sh startresourcemanager 启动yarn主节点
./yarn-daemon.sh start nodemanager 启动从节点进程
Jps 启动完
./start-dfs.sh 启动hdfs 统一命令 启动完会不断输入本机root密码
Jps 启动成功
成功是成功了就是老是要输密码很麻烦 用**进行登录
ssh-****** 生成**对
ssh-copy-id 192.168.1.173 把**对复制到173主机 当然173是我本机
./stop-dfs.sh 暂时停掉dfs
./start-dfs.sh 再启动就不需要输入密码了
./start-yarn.sh 最后启动yarn服务
Jps 启动成功