Flink极客训练营Day2

Flink极客训练营Day2

Flink极客训练营Day2

Flink极客训练营Day2

Flink极客训练营Day2

Flink极客训练营Day2

可以不写出,因为存在state状态。

A连接外部系统,将外部数据读入flink。C连接外部系统,将数据写入。

Flink极客训练营Day2

Flink极客训练营Day2

Flink极客训练营Day2

Flink极客训练营Day2

存在乱序时,通过插入watermark来使得数据看起来似乎正确,比如插入大小为3的watermark,就是判断认为不会再有比3小的数据传过来了。

watermark的设计思路可为eventTime - 5s。

多流watermark都shuffle到同一个处理节点时,为了保证单调自增,会选择所有流入的其中event time最小的那个流向下游。

Flink极客训练营Day2

Flink极客训练营Day2

Flink极客训练营Day2

作业待完成。

 

利用IDEA新建flink项目:

前提:JAVA和maven已安装并配置完成。

1、终端执行以下命令:

Flink极客训练营Day2

2、输入groupId、artifactId,version和package直接回车即可。

Flink极客训练营Day2

3、利用IDEA导入该工程。

4、导入flink的jar包,jar包的位置位于flink/lib/flink-dist-xxx.jar。

Flink极客训练营Day2

 Flink极客训练营Day2

5、flink项目构建完成并可运行。