大数据环境搭建 Hadoop + Hbase
搭建前准备:
1.虚拟机下载地址:
链接:https://pan.baidu.com/s/1pql5PT88Zd7-5vd0cPm_3Q
提取码:i9py
2.环境搭建教程:
链接:https://pan.baidu.com/s/1wtw9FNSm3oYQKsDllsa86Q
提取码:vupp
Hadoop搭建:
1.环境及工具:链接:https://pan.baidu.com/s/1gmhZwms0PEDvBCzyr2jcLg
提取码:lumi
2.打开虚拟机,登录你的Linux系统。
3..使用SSH(或者Xftp)工具远程登陆服务器。
4.用文件传输工具远程登录系统。
5.在/home目录下新建 Hadoop java 文件夹。
6.将之前下载好的jdk上传到/home/java目录下。
7.在/home/java目录下 执行命令 rpm -ivh jdk-7u67-linux-x64.rpm 安装
java环境.
8.配置java环境变量. 执行命令 vi /etc/profile 编辑配置文件。
9.将以下配置文件输入到 /etc/profile中:
export JAVA_HOME=/usr/java/jdk1.7.0_67 //根据自己的jdk位置填写
export HADOOP_HOME=/home/hadoop/hadoop-2.5.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
10.配置好文件后保存并退出,重新加载配置文件。执行命令:
source /etc/profile
11.使用Secure File Transfer Client(Xftp) 在/home/hadoop目录下 上传下载好的 Hadoop 解压包。
12.切换到/home/hadoop目录下,执行命令:
tar xzvf hadoop-2.5.1_x64.tar.gz
13.等待解压完成,会生成一个文件夹 hadoop-2.5.1
14.执行命令: cd /home/hadoop/hadoop-2.5.1/etc/hadoop,切换目录。
15.执行命令: vi hadoop-env.sh ,配置hadoop-env.sh文件
16.配置JAVA_HOME, 输入: JAVA_HOME=/usr/java/jdk1.7.0_67
17.执行命令:cd /home/hadoop/hadoop-2.5.1/etc/hadoop 切换目录。
18.执行命令: vi core-site.xml ,配置core-site.xml。
19.配置以下文件:
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.8.34:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/data/tmp</value>
</property>
20.执行命令:cd /home/hadoop/hadoop-2.5.1/etc/hadoop ,切换目录。
21.执行命令:vi hdfs-site.xml ,配置hdfs-site.xml文件:
<property>
<name>dfs:replication</name>
<value>1</value>
</property>
22.ssh-****** -t dsa -P '' -f ~/.ssh/id_dsa --生成公钥和秘钥
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys --将公钥放入文件中
23.启动hadoop,执行命令:hdfs namenode -format
24.执行命令:cd ../../sbin 切换到sbin 目录下
25.执行命令: start-dfs.sh 启动namennodes。
26.执行命令:jps 查看启动成功信息(会出现下面4个进程)
27.执行命令:service iptables stop ,关闭防火墙。
28.执行命令:cd /home/hadoop/hadoop-2.5.1/bin 切换到指定目录。
29.
执行命令:./hdfs dfs -mkdir -p /usr/file
./hdfs dfs -put /root/jdk-7u67-linux-x64.rpm /usr/file
测试上传文件是否成功。
30.打开浏览器,访问:http://192.168.8.34:50070 测试是否配置成功。注意换成自己的IP地址。
至此 Hadoop 搭建完成。
Hbase搭建:
1.使用Secure File Transfer Client(或者Xftp) 上传下载好的hbase压缩包。
2.执行命令 tar zxvf hbase-0.98.12.1-hadoop2-bin.tar.gz 解压hbase.
3.执行命令:vi /etc/profile 配置profile文件:
export JAVA_HOME=/usr/java/jdk1.7.0_67
export HADOOP_HOME=/home/hadoop/hadoop-2.5.1
export HBASE_HOME=/home/hbase/ hbase-0.98.12.1-hadoop2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin
4.执行命令:source /etc/profile 重新加载 profile。
5.执行命令:cd /home/hadoop/ hbase-0.98.12.1-hadoop2 /conf 切换目录,vi hbase-env.sh配置hbase-env.sh文件:
export JAVA_HOME=/usr/java/jdk1.7.0_67
6.执行命令: vi hbase-site.xml 配置hbase-site.xml文件:
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.8.34:8020/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/data/zookeeper</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
</configuration>
7.执行命令:vi regionservers 配置regionservers文件。
8.修改里面内容为:192.168.8.34(虚拟机ip地址)
9.执行命令:start-hbase.sh 启动hbase
10.执行命令: jps 查看启动信息(会多出三个进程,一个九个,这里显示7个即可,另外两个不需要)
11.在浏览器地址栏访问http://192.168.8.34:60010 (ip改为自己的)。
博主也不是什么大牛,只是给大家分享下经验,勿喷,谢谢。
文末附上教程文档:
链接:https://pan.baidu.com/s/1BwyMYRbQ7hJcuRoOvrw5kg
提取码:4ap0
.