Centos6.5下Storm1.1.1安装配置
一、安装storm前必须安装好Zookeeper,并成功启动,见之前的博客
二、下载storm1.1.1,地址:http://storm.apache.org/downloads.html
三、 (先启动zookeeper)
192.168.120.201 部署nimbus,启动UI;
192.168.120.202 部署supervisor
192.168.120.203 部署supervisor
四、详细过程:
1、把安装包放到三台服务器的指定目录下,此时选择 /usr/local/ 下;
以部署nimbus为例,supervisor部署只有一点不同:
2、进行解压
> tar -zxvf storm1.1.1.tar.gz
>mv storm1.1.1 /usr/local/storm (把名字改的简单点)
3、修改环境变量:
>vi /etc/profile
添加:
并使之生效:
> source /etc/profile
4、输入strom version查看版本信息
表示以上步骤都成功
5、在storm文件夹里创建一个存放数据的目录:
>mkdir data
6、修改配置文件:
进入到storm文件夹下的conf目录下
>vi storm.yarm
由于zookeeper集群是搭建在同一个服务器的不同端口上,所以只有ports不同
storm.zookeeper.servers是代表搭建的zookeeper集群的ip,不带端口号
storm.zookeeper.ports是关于zookeeper的端口号,与servers上的ip对应
storm.local.dir是刚刚创建data的目录地址
nimbus.seeds是之前指定的ip
ui是启动网页时的端口号,只需要在nimbus的配置文件中指定,另外两个supervisor的配置文件中可以不写
7、在上述配置文件中遇到的坑:
由于yarm文件的格式十分的严格,所以格式需要特别注意
(1)不能使用tab键补齐,需要空格,比如上面的servers和ports下面的八个空格,否则会报如下的错误:
(2)每个属性顶头写,冒号后面留一个空格
8、说明:
1、storm.zookeeper.servers是指定zookeeper的服务地址。
因为storm的存储信息在zookeeper上,所以要配置zookeeper的服务地址。如果zookeeper是单机就只用指定一个!
2、storm.local.dir 表示存储目录。
Nimbus和Supervisor守护进程需要在本地磁盘上存储一个目录来存储少量的状态(比如jar,confs等等)。可以在每台机器创建,并给于权限。
3、nimbus.seeds 表示候选的主机。
worker需要知道那一台机器是主机候选(zookeeper集群是选举制),从而可以下载 topology jars 和confs。
4、supervisor.slots.ports 表示worker 端口。
对于每一个supervisor机器,我们可以通过这项来配置运行多少worker在这台机器上。每一个worker使用一个单独的port来接受消息,这个端口同样定义了那些端口是开放使用的。如果你在这里定义了5个端口,就意味着这个supervisor节点上最多可以运行5个worker。如果定义3个端口,则意味着最多可以运行3个worker。在默认情况下(即配置在defaults.yaml中),会有有四个workers运行在 6700, 6701, 6702, and 6703端口。
supervisor并不会在启动时就立即启动这四个worker。而是接受到分配的任务时,才会启动,具体启动几个worker也要根据我们Topology在这个supervisor需要几个worker来确定。如果指定Topology只会由一个worker执行,那么supervisor就启动一个worker,并不会启动所有。
注: 这些配置前面不要有空格!!!,不然会报错。 这里使用的是主机名(做了映射),也可以使用IP。实际的以自己的为准。
可以使用scp命令或者ftp软件将storm复制到其他机器上
成功配置之后,然后就可以启动Storm了,不过要确保JDK、Zookeeper已经正确安装,并且Zookeeper已经成功启动。
9、nimbus配置完成,两个supervisor配置同上,只不过配置文件中不写ui: 8080这一句
10、切换到storm/bin目录下,启动:
(1)启动nimbus:
>./storm nimbus & (后台运行)
或者
>./storm nimbus >/dev/null 2>&1 &
(2)访问web界面:
>./storm ui
(3)启动两个supervisor:
>./storm supervisor & (后台运行)
或者:
>./storm supervisor >/dev/null 2>&1 &
启动成功后:
打开网址:http://192.168.120.201:8080/index.html
即可看到下面页面内容