一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)
Storm的官方网址:http://storm.apache.org/index.html
1:安装一个zookeeper集群,之前已经部署过,这里省略,贴一下步骤;
安装配置zooekeeper集群:
1.1:解压
tar -zxvf zookeeper-3.4.5.tar.gz
1.2:修改配置
cd /home/hadoop/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改:dataDir=/home/hadoop/zookeeper-3.4.5/tmp
在最后添加:
server.1=master:2888:3888
server.2=slaver1:2888:3888
server.3=slaver2:2888:3888
保存退出
然后创建一个tmp文件夹
mkdir /home/hadoop/zookeeper-3.4.5/tmp
再创建一个空文件
touch /home/hadoop/zookeeper-3.4.5/tmp/myid
最后向该文件写入ID
echo 1 > /home/hadoop/zookeeper-3.4.5/tmp/myid
1.3将配置好的zookeeper拷贝到其他节点:
scp -r /home/hadoop/zookeeper-3.4.5/ slaver1:/home/hadoop/
scp -r /home/hadoop/zookeeper-3.4.5/ slaver2:/home/hadoop/
注意:修改slaver1、slaver2对应/home/hadoop/zookeeper-3.4.5/tmp/myid内容
slaver1:
echo 2 > /home/hadoop/zookeeper-3.4.5/tmp/myid
slaver2:
echo 3 > /home/hadoop/zookeeper-3.4.5/tmp/myid
2、上传storm的安装包,解压缩:
[[email protected] hadoop]# tar -zxvf apache-storm-0.9.2-incubating.tar.gz
3、修改配置文件storm.yaml:
修改内容如下所示:
#所使用的zookeeper集群主机 storm.zookeeper.servers: - "master" - "slaver1" - "slaver2" #nimbus所在的主机名 nimbus.host: "master" supervisor.slots.ports -6701 -6702 -6703 -6704 -6705
然后将master修改好的storm发送到slaver1,slaver2:
[[email protected] hadoop]# scp -r apache-storm-0.9.2-incubating/ slaver1:/home/hadoop/
[[email protected] hadoop]# scp -r apache-storm-0.9.2-incubating/ slaver2:/home/hadoop/
4:启动storm集群,首先启动你的Zookeeper集群,然后再启动你的storm集群哈。
启动Zookeeper集群:
然后启动Storm集群:
启动storm 在nimbus主机上 nohup ./storm nimbus 1>/dev/null 2>&1 & nohup ./storm ui 1>/dev/null 2>&1 & 在supervisor主机上 nohup ./storm supervisor 1>/dev/null 2>&1 &
注意,解释:
1>/dev/null:代表标准输入到这个目录;
2>&1:代表标准输出也到这个目录下面;
&:代表这个是后台运行;
如下启动storm方便观察,最后一行是卡住不动的哦:
查看进程如下所示:
可以启动一下storm的ui查看:
查看一下进程如:
启动ui以后可以在浏览器访问,如:
启动supervisor
[[email protected] bin]# ./storm supervisor
然后可以启动剩下的storm:
[[email protected] bin]# ./storm supervisor
启动以后可以查看进程jps的启动情况,然后可以去浏览器查看自己http://192.168.3.129:8080/index.html的页面各个启动情况,如supervisor等等。