hadoop集群搭建(超详细版)
1.准备好需要安装的软件
虚拟机VMware12.pro
操作系统CentOS 6.5
远程控制虚拟机的终端SecureCRT8.1
2.在虚拟机中安装CentOS操作系统
安装好虚拟机,图形界面如下图
创建新的虚拟机,选择自定义(高级),点击下一步
虚拟机硬件兼容性默认,浏览需要安装的CentOS6.5镜像文件
自定义用户名和密码(用于登录)
设置虚拟机名称和存储路径
处理器设置默认(后面可以修改),内存设为1GB
网络类型选择NAT模式
选择创建新虚拟磁盘
最大磁盘大小设为20GB,然后将虚拟磁盘存储为单个文件
将创建好的磁盘文件存储在虚拟机指定目录下
虚拟机创建完成
3. 虚拟网络配置
编辑虚拟网络设置,选择NAT模式
点击NAT设置,查看网络信息(后面设置ip会用到)
查看主机ip地址
修改网络配置文件,将BOOTPROTO值修改为”static”
重启网络服务network
再次查看主机ip
4. 更改主机名称
修改主机名文件(重启永久生效)
查看主机名hostname(文件修改后没有重启主机名没有生效,可以用hostname临时生效)
复制master文件两次,重命名为slave1和slave2,打开虚拟机文件,然后按照同样的方法设置两个节点的ip和主机名
5.建立主机名和ip的映射
查看是否能ping通
6.配置ssh免密码登录
在root用户下输入ssh-****** -t rsa 一路回车
秘钥生成后在~/.ssh/目录下,有两个文件id_rsa(私钥)和id_rsa.pub(公钥),将公钥复制到authorized_keys并赋予authorized_keys600权限
同理在slave1和slave2节点上生成秘钥,然后将秘钥复制到master节点上的authoized_keys
将master节点上的authoized_keys远程传输到slave1和slave2的~/.ssh/目录下
检查是否免密登录(第一次登录会有提示)
7.关闭防火墙
关闭selinux(永久)
8.安装JDK
三个节点安装java并配置java环境变量
解压压缩包
在/etc/profile文件里添加jdk路径
执行命令source /etc/profile使配置文件生效,并查看java版本信息
9.安装MySQL(主节点)
查询系统已安装的mysql
彻底卸载mysql及其所依赖的包
解压MySQL包
安装MySQL有关的三个rpm包,分别为server、client和devel包
启动mysql /usr/bin/mysqld_safe --skip-grant-tables & 并登陆mysql数据库
查看mysql中的数据库
10.安装SecureCRT
操作比较简单,安装好的图形界面如图
连接好之后
12.搭建集群
12.1 集群结构
三个结点:一个主节点master两个从节点 内存1GB 磁盘20GBIp地址 |
主机名 |
Namenode |
Secondary namenode |
Datanode |
Resource Manager |
NodeManager |
192.168.63.16 |
master |
Y |
Y |
N |
Y |
N |
192.168.63.17 |
slave1 |
N |
N |
Y |
N |
Y |
192.168.63.18 |
slave2 |
N |
N |
Y |
N |
Y |
12.2 新建hadoop用户及其用户组
12.3 安装hadoop并配置环境变量
由于hadoop集群需要在每一个节点上进行相同的配置,因此先在master节点上配置,然后再复制到其他节点上即可。
将hadoop包放在/usr/目录下并解压
配置环境变量
在/etc/profile文件中添加如下命令
12.4 搭建集群的准备工作
12.5 配置hadoop文件
配置yarn-env.sh
配置slaves文件,删除localhost
12.6 运行hadoop
格式化Namenode
source /etc/profile