大数据环境搭建 Hadoop + Hbase

搭建前准备:

1.虚拟机下载地址:

链接:https://pan.baidu.com/s/1pql5PT88Zd7-5vd0cPm_3Q 
提取码:i9py 

2.环境搭建教程:

链接:https://pan.baidu.com/s/1wtw9FNSm3oYQKsDllsa86Q 
提取码:vupp 

 

Hadoop搭建:

1.环境及工具:链接:https://pan.baidu.com/s/1gmhZwms0PEDvBCzyr2jcLg 
提取码:lumi 

2.打开虚拟机,登录你的Linux系统。

大数据环境搭建 Hadoop + Hbase

3..使用SSH(或者Xftp)工具远程登陆服务器。

大数据环境搭建 Hadoop + Hbase

4.用文件传输工具远程登录系统。

大数据环境搭建 Hadoop + Hbase

5.在/home目录下新建 Hadoop  java 文件夹。

大数据环境搭建 Hadoop + Hbase

6.将之前下载好的jdk上传到/home/java目录下。

大数据环境搭建 Hadoop + Hbase

7.在/home/java目录下 执行命令  rpm -ivh jdk-7u67-linux-x64.rpm  安装

java环境.

大数据环境搭建 Hadoop + Hbase

8.配置java环境变量. 执行命令  vi /etc/profile   编辑配置文件。

大数据环境搭建 Hadoop + Hbase

9.将以下配置文件输入到 /etc/profile中:

export   JAVA_HOME=/usr/java/jdk1.7.0_67    //根据自己的jdk位置填写

export   HADOOP_HOME=/home/hadoop/hadoop-2.5.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

大数据环境搭建 Hadoop + Hbase

10.配置好文件后保存并退出,重新加载配置文件。执行命令:

source /etc/profile

大数据环境搭建 Hadoop + Hbase

11.使用Secure File Transfer Client(Xftp) 在/home/hadoop目录下  上传下载好的 Hadoop 解压包。大数据环境搭建 Hadoop + Hbase

12.切换到/home/hadoop目录下,执行命令: 

tar xzvf hadoop-2.5.1_x64.tar.gz

大数据环境搭建 Hadoop + Hbase

13.等待解压完成,会生成一个文件夹  hadoop-2.5.1

大数据环境搭建 Hadoop + Hbase

14.执行命令: cd /home/hadoop/hadoop-2.5.1/etc/hadoop,切换目录。

大数据环境搭建 Hadoop + Hbase

15.执行命令: vi hadoop-env.sh  ,配置hadoop-env.sh文件

大数据环境搭建 Hadoop + Hbase

16.配置JAVA_HOME,    输入: JAVA_HOME=/usr/java/jdk1.7.0_67

大数据环境搭建 Hadoop + Hbase

17.执行命令:cd  /home/hadoop/hadoop-2.5.1/etc/hadoop 切换目录。

大数据环境搭建 Hadoop + Hbase

18.执行命令: vi core-site.xml ,配置core-site.xml。

大数据环境搭建 Hadoop + Hbase

19.配置以下文件:

<property>

         <name>fs.defaultFS</name>

         <value>hdfs://192.168.8.34:8020</value>

</property>

<property>

         <name>hadoop.tmp.dir</name>

         <value>/opt/data/tmp</value>

</property>

大数据环境搭建 Hadoop + Hbase

20.执行命令:cd  /home/hadoop/hadoop-2.5.1/etc/hadoop  ,切换目录。

大数据环境搭建 Hadoop + Hbase

21.执行命令:vi hdfs-site.xml ,配置hdfs-site.xml文件:

  <property>

       <name>dfs:replication</name>

       <value>1</value>

   </property>

大数据环境搭建 Hadoop + Hbase

22.ssh-****** -t dsa -P '' -f ~/.ssh/id_dsa  --生成公钥和秘钥

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  --将公钥放入文件中

大数据环境搭建 Hadoop + Hbase

23.启动hadoop,执行命令:hdfs namenode -format

大数据环境搭建 Hadoop + Hbase

24.执行命令:cd ../../sbin  切换到sbin 目录下

大数据环境搭建 Hadoop + Hbase

25.执行命令: start-dfs.sh  启动namennodes。

大数据环境搭建 Hadoop + Hbase

26.执行命令:jps  查看启动成功信息(会出现下面4个进程)

大数据环境搭建 Hadoop + Hbase

27.执行命令:service iptables stop ,关闭防火墙。

28.执行命令:cd /home/hadoop/hadoop-2.5.1/bin 切换到指定目录。

大数据环境搭建 Hadoop + Hbase

29.

执行命令:./hdfs dfs -mkdir -p /usr/file

./hdfs dfs -put /root/jdk-7u67-linux-x64.rpm /usr/file

测试上传文件是否成功。

大数据环境搭建 Hadoop + Hbase

30.打开浏览器,访问:http://192.168.8.34:50070  测试是否配置成功。注意换成自己的IP地址。

大数据环境搭建 Hadoop + Hbase

至此 Hadoop 搭建完成。

 

Hbase搭建:

1.使用Secure File Transfer Client(或者Xftp) 上传下载好的hbase压缩包。

大数据环境搭建 Hadoop + Hbase

2.执行命令 tar zxvf hbase-0.98.12.1-hadoop2-bin.tar.gz 解压hbase.

大数据环境搭建 Hadoop + Hbase

3.执行命令:vi /etc/profile 配置profile文件:

export JAVA_HOME=/usr/java/jdk1.7.0_67

export HADOOP_HOME=/home/hadoop/hadoop-2.5.1

export HBASE_HOME=/home/hbase/ hbase-0.98.12.1-hadoop2  

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin

大数据环境搭建 Hadoop + Hbase

4.执行命令:source /etc/profile  重新加载 profile。

大数据环境搭建 Hadoop + Hbase

5.执行命令:cd /home/hadoop/ hbase-0.98.12.1-hadoop2 /conf 切换目录,vi hbase-env.sh配置hbase-env.sh文件:

export JAVA_HOME=/usr/java/jdk1.7.0_67

大数据环境搭建 Hadoop + Hbase

大数据环境搭建 Hadoop + Hbase

6.执行命令: vi hbase-site.xml 配置hbase-site.xml文件:

<configuration>

  <property>

    <name>hbase.rootdir</name>

    <value>hdfs://192.168.8.34:8020/hbase</value>

  </property>

  <property>

    <name>hbase.zookeeper.property.dataDir</name>

    <value>/home/data/zookeeper</value>

  </property>

  <property>

    <name>hbase.cluster.distributed</name>

    <value>true</value>

  </property>

</configuration>

大数据环境搭建 Hadoop + Hbase

7.执行命令:vi regionservers 配置regionservers文件。

大数据环境搭建 Hadoop + Hbase

8.修改里面内容为:192.168.8.34(虚拟机ip地址)

大数据环境搭建 Hadoop + Hbase

9.执行命令:start-hbase.sh    启动hbase

10.执行命令: jps  查看启动信息(会多出三个进程,一个九个,这里显示7个即可,另外两个不需要)

大数据环境搭建 Hadoop + Hbase

11.在浏览器地址栏访问http://192.168.8.34:60010  (ip改为自己的)。

大数据环境搭建 Hadoop + Hbase

 

 

博主也不是什么大牛,只是给大家分享下经验,勿喷,谢谢。

文末附上教程文档:

链接:https://pan.baidu.com/s/1BwyMYRbQ7hJcuRoOvrw5kg 
提取码:4ap0 

 

.