Hadoop HDFS 安装
在主目录下创建app、software、data 三个目录
software 软件包目录
app 软件安装目录
data 数据目录
1.下载Hadoop
CDH相关的软件下载地址:http://archive.cloudera.com/cdh5/cdh/5/
生产或者测试环境选择对应CDH版本时,一定要采用尾号是一样的版本,我这里采用
cdh-5.7.0.tar.gz 结尾的软件,可以先把后续的Hive、Hbase、Spark先下载好。
Linux下载命令 wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
2. 安装jdk
下载jdk包
解压到app目录:tar -zxvf jdk-8811-linux-x64.tar.gz -C ../app
验证安装是否成功:
cd ../app/jdk1.8.0_11/bin
./java -version
环境变量配置
vi ~/.bash_profile
在文件中加上如下配置
export JAVA_HOME=/home/yliang/app/jdk1.8.0_11
export PATH=$JAVA_HOME/bin:$PATH
执行source ~/.bash_profile命令,刷新配置
现在就可以通过命令 java -version查看配置是否成功。
3.机器参数配置
hostname :hadoop001
修改机器名:vi /etc/sysconfig/network
在文件中加上如下信息
NETWORKING=yes
HOSTNAME=hadoop001
设置ip和hostname的映射关系: vi /etc/hosts
192.168.232.128 hadoop001
127.0.0.1 localhost
ssh免密码登录(本步骤可以省略,但是后面重启hadoop进程时需手工输入密码)
ssh-****** -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
4. hadoop配置文件修改
解压安装包
cd ../app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
vi hadoop-env.sh
export JAVA_HOME=/home/yliang/app/jdk1.7.0_51
vi core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop001:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/tmp</value>
</property>
vi hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.http.address</name>
<value>hadoop001:50070</value>
</property>
5. 格式化HDFS
注意:这一步操作,只是在第一次操作时只需,每次如果都格式化的话,那么HDFS上的数据就会被清空
cd /home/yliang/app/hadoop-2.6.0-cdh5.7.0/bin/
./hdfs namenode -format
6. 关闭防火墙
查看防火墙命令:service iptables status
关闭防火墙命令:service iptables stop
7. 启动HDFS
cd /home/yliang/app/hadoop-2.6.0-cdh5.7.0/sbin/
./start-dfs.sh
验证是否启动成功:
jps
DataNode
SecondaryNameNode
NameNode
浏览器
8. 停止HDFS
cd /home/yliang/app/hadoop-2.6.0-cdh5.7.0/sbin/
./stop-dfs.sh