window和time操作
window 分类: 滚动、滑动
窗口分类
滚动定义:.timeWindow(Time.seconds(5))
滑动定义:.timeWindow(Time.seconds(5),Time.seconds(1))
自定义window
window聚合方法:增量、全量
● 增量聚合
窗口中每进入一条数据,就进行一次计算:使用函数如下:
reduce(reduceFunction)
aggregate(aggregateFunction)
sum(),min(),max()
● 全量聚合
等属于窗口的数据到齐,才开始进行聚合计算【可以实现对窗口内的数据进行排序等需求】:使用函数如下:
apply(windowFunction)
process(processWindowFunction)
processWindowFunction比windowFunction提供了更多的上下文信息。