史无前例详细从零开始安装Hadoop集群
1.安装一个VM虚拟机管理工具。（这个网上自行下载，傻瓜式一键安装就好）
2.配置VM的环境
2.1配置Windows中vmnet8网卡的ip配置
3.创建一个虚拟机（空白的虚拟机，稍后用自己的ISO镜像文件装系统）
4.安装Linux的虚拟机系统（虚拟机的设置中按照如下进行设置）
5.启动Linux系统，进行基础配置
安装本地yum源
先确保虚拟机的驱动已经连接（在虚拟机的可移动设备的cd/dvd那一栏打√）
然后执行命令：
mkdir /mnt/cdrom
mount -t iso9660 -o loop /dev/cdrom /mnt/cdrom
检查是否成功： ls /mnt/cdrom 看看有没有文件
配置yum源地址，只想 /mnt/cdrom
cd /etc/yum.repos.d/
rename .repo .repo.bak *
cp CentOS-Media.repo.bak cdrom.repo
vi cdrom.repo
安装ssh工具包
yum install -y openssh.x86_64 openssh-clients.x86_64
6.配置Linux的网络环境
配置ip
配置主机名
vi /etc/sysconfig/network
改成hadoop01
配置域名映射
vi/etc/hosts
关闭 防火墙
service iptables stop
chkconfig iptables off
用远程连接工具连接虚拟机hadoop01（连接之前，保证Windows和虚拟机之间能够相互ping通）
ping通后就用crt远程连接工具连接到虚拟机
连接之后开始安装JDK
上传jdk的安装包到hadoop01 上，然后建一个apps目录，来解压安装包
解压完成后，配置JAVA_HOME 和PATH变量
vi /etc/profile
克隆虚拟机
将hadoop01克隆出hadoop02和hadoop03
然后，在hadoop02和03上进行网卡的配置
首先，删除老的eth0网卡，将新的eth1网卡改名为eth0
结果
修改eth0的ip地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
结果如下
修改主机名
vi /etc/sysconfig/network
02就改成hadoop02
03 就改成hadoop03
安装Hadoop上传安装包到hadoop01上 解压到apps目录下
修改配置文件
配置文件在：/root/apps/hadoop-2.8.1/etc/hadoop
vi hadoop-env.sh
vi core-site.xml
vi hdfs-site.xml
|
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/root/dfsdata/name/</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/root/dfsdata/data/</value> </property> </configuration> |
l 拷贝安装目录到hadoop02和03
scp -r hadoop-2.8.1/ hadoop03:$PWD
启动HDFS在三台机器上将hadoop的目录都配置到/etc/profile下
vi/etc/profile
|
export JAVA_HOME=/root/apps/jdk1.8.0_60 export HADOOP_HOME=/root/apps/hadoop-2.8.1 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin |
格式化namenode ：
hadoop namenode -format
启动namenode：
hadoop-daemon.sh start namenode
启动datanode:
hadoop-daemon.sh start datanode
去web界面访问namenode节点的50070端口 查看状态