storm初学记录1
storm :开源的、分布式、流式计算系统。
storm例子:
https://www.cnblogs.com/hd3013779515/p/6965311.html
storm简介:
https://blog.****.net/weiyongle1996/article/details/77142245?utm_source=gold_browser_extension
W3C教程:
https://www.w3cschool.cn/apache_storm/apache_storm_core_concepts.html
集批量计算和流式计算于一体的API:Summing Bird / CloudDataflow
主节点:Nimbus
从节点:Supervisor
作业:Topology 拓扑 点和边
RandomSentenceSpout : open() / nextTuple() .emit / ack() / fail() / declarOutputFields ()输出字段
storm数据可靠性:
ack机制
zookeeper:协调
Spout创建
Spout是用于数据生成的组件。基本上,一个spout将实现一个IRichSpout接口。 “IRichSpout”接口有以下重要方法 -
open -为Spout提供执行环境。执行器将运行此方法来初始化喷头。
nextTuple -通过收集器发出生成的数据。
close -当spout将要关闭时调用此方法。
declareOutputFields -声明元组的输出模式。
ack -确认处理了特定元组。
fail -指定不处理和不重新处理特定元组。
Bolt创建
Bolt是一个使用元组作为输入,处理元组,并产生新的元组作为输出的组件。Bolts将实现IRichBolt接口。在此程序中,使用两个Bolts
类CallLogCreatorBolt和CallLogCounterBolt来执行操作。
IRichBolt接口有以下方法 -
prepare -为bolt提供要执行的环境。执行器将运行此方法来初始化spout。
execute -处理单个元组的输入
cleanup -当spout要关闭时调用。
declareOutputFields -声明元组的输出模式。