是否有任何apache风暴簇大小限制？

Question

我假定在风暴集群具有多个节点增加了“保持拓扑活跃”群集内通信。

鉴于该拓扑正常工作与10个节点（2或4个CPU，4GB RAM），用于小数据，我们可以扩展拓扑到1000个或10000个节点，仍然是（非常）大数据的竞争力？有没有已知的实际限制？

由于

Answer 1

风暴簇的缩放比例由状态存储在动物园管理员的速度的限制，大部分是从工“心跳”。的理论极限是或多或少1200个节点（取决于盘速度，80MB /秒的写入速度这里考虑）。显然，使用更快的硬盘将使事情更加规模。

然而，人们在雅虎都对工人的心跳工作在内存存储。他们的解决方案将使用千兆位连接将限制增加到约6,250个节点。 10Gigabit连接将这个理论极限增加到62,500个节点。你可以看看这个的Hadoop峰会2015年presentation从博比·埃文斯进一步的细节。