Flink生产配置最佳实践
Flink常见的参数调优，钉钉公开课趣头条实时平台负责人分享
https://www.bilibili.com/video/BV1iE411r7S6
Flink在yarn上运行，每个TaskManager的slot个数怎么设置？
经验公式：
slot个数tm个数=并行度
并行度=kafka的分区个数（10分区）
slot的个数要小于yarn设置的单个container最大可以申请的cpu核数（5个 8-36个）。
那么就是 5个slot2个tm=并行度=kafka分区数
多个小集群好还是一个大集群好？
- 1.小集群的话任务分布在不同的集群，任务之间的影响小。不会因为一个任务占用过高的cpu导致集群重启，而导致集群中所有的任务失败。
- 2.多个小集群管理可能压力会大。
怎么计算运行flink任务所占内存和占用cpu是多少？
目前官方都没有解决办法。
趣头条多少任务？
- 广告商的计费收入
- 统计类：pv uv
- kafka数据倒流，读写分离
- 实时的etl
- 300多任务
- 200+节点
目前问题资源利用率不是很高正在解决