Flume 个人学习
刚刚测试了个flume的模式,如下图
在对sink选择上,没有其他的配置,比如sink processors等,配置文件如下图
这样导致source监听的端口数据被不规则分配到了两个sink上面,结果如图
logger端:
HDFS端:
针对于上述问题,flume提供一个模式Replicating Channel Selector ,Replicating 会将source过来的events发往所有channel,每个sink去其对应的channel拉取数据,架构图如下:
这样,可保证K1和K2的数据都是一致的。
配置文件如下: