Flink极客训练营Day2
可以不写出,因为存在state状态。
A连接外部系统,将外部数据读入flink。C连接外部系统,将数据写入。
存在乱序时,通过插入watermark来使得数据看起来似乎正确,比如插入大小为3的watermark,就是判断认为不会再有比3小的数据传过来了。
watermark的设计思路可为eventTime - 5s。
多流watermark都shuffle到同一个处理节点时,为了保证单调自增,会选择所有流入的其中event time最小的那个流向下游。
作业待完成。
利用IDEA新建flink项目:
前提:JAVA和maven已安装并配置完成。
1、终端执行以下命令:
2、输入groupId、artifactId,version和package直接回车即可。
3、利用IDEA导入该工程。
4、导入flink的jar包,jar包的位置位于flink/lib/flink-dist-xxx.jar。
5、flink项目构建完成并可运行。