hadoop 伪分布式安装

在一台主机模拟多主机,Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行,是相互独立的Java进程。这种模式常用来开发测试Hadoop程序的执行是否正确

2.1 修改配置文件

core-site.xml

hadoop 伪分布式安装

 

hdfs-site.xml

hadoop 伪分布式安装

mapred-site.xml

hadoop 伪分布式安装

 

yarn-site.xml

hadoop 伪分布式安装

 

2.2 配置免密登录

hadoop 伪分布式安装

 

查看是否已经安装了openssh-server,openssh-client,openssh服务

hadoop 伪分布式安装

生成公钥和私钥

hadoop 伪分布式安装

将公钥追加放入~/.ssh/authorized_keys文件中

hadoop 伪分布式安装

cenos要修改authorized_keys的文件权限为644

hadoop 伪分布式安装

测试配置是否成功

hadoop 伪分布式安装

2.3 hdfs格式化

$> hadoop namenode -format

hadoop 伪分布式安装

 

2.4 启hadoop相关进程

hadoop 伪分布式安装

centos可能会启动失败,找不到JDK

需要到hadoopetc/hadoop/hadoop-env.sh中修改

export JAVA_HOME=具体路径

启动成功后,会出现以下进程

hadoop 伪分布式安装