8.Hadoop的学习(Hadoop的配置--搭建完全分布式)
搭建伪分布式请查看本博客https://blog.****.net/wei18791957243 里面的三个搭建伪分布式的博客
- 前提是伪分布式可以正常启动。
- 点开虚拟机上边的菜单栏中的虚拟机内的快照功能。(快照:可以及时保存当前操作,也就是保存这个节点,等需要的话可以让系统恢复到这个节点上。)
- 进入操作系统后:(cd /etc)查看本机名(cat hostname)修改本机名(sudo gedit hostname)修改的时候尽量修改成简单的,后面设置完全分布式的时候会比较方便。如:修改主机名为:hadoop
- 修改完之后重新启动
- 关闭系统,点击克隆。(克隆的时候选择第2个,创建完整克隆)
- 克隆3份,然后依次打开克隆的1,2。(虚拟机在打开的时候会默认给操作系统分配虚拟ip地址。)
- 首先分别查看克隆的这2台虚拟机的ip地址
- (1)在克隆虚拟机1上面打开命令行,修改主机名为:hadoop-1 ,然后保存
( 2)进入到etc目录下修改 passwd文件里面的用户名为ubuntu 如图
(3) 然后要修改etc里面的hosts文件的权限 : 设置权限为所有的都为rwx : 执行命令:sudo chmod 777 hosts
(4) 在第二个克隆机里面修改主机名为:hadoop-2
并且在执行(2) 修改passwd 文件 ,再执行(3) 修改hosts文件的权限
(5)两个克隆机都修改完之后,都要重新启动
9.在主机名为hadoop的虚拟机里面开始配置文件。
(1)执行命令进入到如下的文件夹 cd /usr/soft/hadoop-2.7.1/etc/hadoop_pseudo/
进入后修改两个文件 ,
修改core-site.xml文件 画红线即为修改后的 如图
修改 hdfs-site.xml 数字2 即有两个克隆机(修改成完全分布式集群需要几个伪分布式,这里填写2)
(2)然后修改文件里面的内容,修改完之后(修改成完全分布式集群需要的集群主机名)如图
(3)切换目录到 /etc下 , (修改hosts文件,在后面加上ip地址 主机名(一个三个))
给hosts文件后面添加内容,添加完内容之后,查看文件,文件就会如图:
注意:ip的地址和主机名不要添加错了。
(4) 然后将hosts文件依次拷贝到其他的两个克隆机里面
执行命令:命令的格式:
按照我们之前配置好的,
输入命令:scp /etc/hosts [email protected]:/etc 给第一个克隆机拷贝
输入命令:scp /etc/hosts [email protected]:/etc 给第二个克隆机拷贝
在输入命令后按照提示输入密码,或者yes!
10 .完成上面的步骤,完全分布式就配置完成了,
然后开启完全分布式 ,和开启伪分布式一样
格式化 hadoop namenode -format
然后 ssh localhost
然后按照伪分布式的启动方式来启动完全分布式就行了
11. 启动后,输入如下的命令,如图 完全分布式就启动成功了
11. 可一看到节点分别再其他的主机上面了,这样就完成了 完全分布式启动
关闭完全分布式也是和关闭伪分布式的是一样的·