主节点如何启动hadoop集群中的所有进程?
问题描述:
我使用普通的vanilla Hadoop建立了5个虚拟机的Hadoop集群。集群细节如下:主节点如何启动hadoop集群中的所有进程?
192.168.1.100 - 配置为运行NameNode和SNN守护
192.168.1.101 - 配置为运行ResourceManager的守护进程。
192.168.1.102 - 配置为运行DataNode和NodeManager守护进程。
192.168.1.103 - 配置为运行DataNode和NodeManager守护进程。
192.168.1.104 - 配置为运行DataNode和NodeManager守护进程。
我在每台虚拟服务器上都保存了主设备和从设备文件。
大师:
192.168.1.100
192.168.1.101
奴文件:
192.168.1.102
192.168.1.103
192.168.1.104
现在,当我运行start-all.sh
命令从NameNode
机器,它怎么能开始所有的守护进程?我无法理解它?没有安装适配器(或者我不知道),所有机器都有简单的Hadoop罐,因此机器如何能够在所有机器(虚拟服务器)中启动所有的守护程序。
任何人都可以帮助我理解这一点吗?
答
namenode通过SSH连接到从站并运行从服务。 这就是为什么您需要在从站上使用公钥密码~/.ssh/authorized_keys
的原因,以便为运行Hadoop名称节点的用户提供其私有对应项。
非常感谢您的信息;所以Namenode通过ssh连接到slave,并执行命令来运行slave进程。这种理解是否正确? – CuriousMind
@CuriousMind是的,就是这样。这就是为什么你通过ENV变量在hadoop_env.sh中放置某些选项(该文件来自于从站)。 –