一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

Storm的官方网址:http://storm.apache.org/index.html

1:安装一个zookeeper集群,之前已经部署过,这里省略,贴一下步骤;

安装配置zooekeeper集群:
        1.1:解压
            tar -zxvf zookeeper-3.4.5.tar.gz
        1.2:修改配置
            cd /home/hadoop/zookeeper-3.4.5/conf/
            cp zoo_sample.cfg zoo.cfg
            vim zoo.cfg
            修改:dataDir=/home/hadoop/zookeeper-3.4.5/tmp
            在最后添加:
            server.1=master:2888:3888
            server.2=slaver1:2888:3888
            server.3=slaver2:2888:3888
            保存退出
            然后创建一个tmp文件夹
            mkdir /home/hadoop/zookeeper-3.4.5/tmp
            再创建一个空文件
            touch /home/hadoop/zookeeper-3.4.5/tmp/myid
            最后向该文件写入ID
            echo 1 > /home/hadoop/zookeeper-3.4.5/tmp/myid
        1.3将配置好的zookeeper拷贝到其他节点:
            scp -r /home/hadoop/zookeeper-3.4.5/ slaver1:/home/hadoop/
            scp -r /home/hadoop/zookeeper-3.4.5/ slaver2:/home/hadoop/
            
            注意:修改slaver1slaver2对应/home/hadoop/zookeeper-3.4.5/tmp/myid内容
            slaver1
                echo 2 > /home/hadoop/zookeeper-3.4.5/tmp/myid
            slaver2
                echo 3 > /home/hadoop/zookeeper-3.4.5/tmp/myid

2、上传storm的安装包,解压缩:

[[email protected] hadoop]# tar -zxvf apache-storm-0.9.2-incubating.tar.gz

一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

3、修改配置文件storm.yaml:

一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

修改内容如下所示:

#所使用的zookeeper集群主机
storm.zookeeper.servers:
     - "master"
     - "slaver1"
     - "slaver2"

#nimbus所在的主机名
nimbus.host: "master"

supervisor.slots.ports
-6701
-6702
-6703
-6704
-6705

一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

然后将master修改好的storm发送到slaver1,slaver2:

[[email protected] hadoop]# scp -r apache-storm-0.9.2-incubating/ slaver1:/home/hadoop/

[[email protected] hadoop]# scp -r apache-storm-0.9.2-incubating/ slaver2:/home/hadoop/

 一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

4:启动storm集群,首先启动你的Zookeeper集群,然后再启动你的storm集群哈。

 启动Zookeeper集群:

一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

然后启动Storm集群:

启动storm
在nimbus主机上
nohup ./storm nimbus 1>/dev/null 2>&1 &
nohup ./storm ui 1>/dev/null 2>&1 &

在supervisor主机上
nohup ./storm supervisor 1>/dev/null 2>&1 &

 注意,解释:

  1>/dev/null:代表标准输入到这个目录;

 

  2>&1:代表标准输出也到这个目录下面;

 

  &:代表这个是后台运行;

 

如下启动storm方便观察,最后一行是卡住不动的哦:

一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

查看进程如下所示:

一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

可以启动一下storm的ui查看:

 一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

查看一下进程如:

一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

启动ui以后可以在浏览器访问,如:

一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

启动supervisor

[[email protected] bin]# ./storm supervisor

一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

 然后可以启动剩下的storm:

[[email protected] bin]# ./storm supervisor

启动以后可以查看进程jps的启动情况,然后可以去浏览器查看自己http://192.168.3.129:8080/index.html的页面各个启动情况,如supervisor等等。