在Hadoop中,复制因子与群集中节点数量之间的关系是什么?
答
复制因子大于可用数据节点会使复制的目的失败。副本应该明确地置于datanode上唯一的&。如果一个数据节点包含同一个块的多个副本(理论上),则它不提供额外的容错能力,因为如果该节点关闭,则两个副本都将丢失。所以每个节点只有一个副本就足够了。
并回答您的问题:
什么是复制因子和数据在集群节点的数量之间的关系? Ans。最大复制因子应小于或等于#datanodes
如果复制因子为3,并且簇中有2个节点。那么将会创建多少个副本?
Ans。据我所知,只创建了2个副本。 (尝试使用hdfs dfs -setrep
选项)它们将如何放置? Ans。他们将被放置一个datanode。
因此,当您提供的复制因子超过#datanodes,你要创建额外的副本将被记载为缺少副本在hdfs fsck
输出。此外,相应的块将被视为不足重复块