datanode报错:java.io.IOException:Premature EOF from inputStream
HDSF datanode报错如下:
原因:文件操作超租期,实际上就是data stream操作过程中文件被删除了,通常是因为Mapred多个task操作同一个文件,一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限,总默认值是4096,该参数取值范围[1to8192]
更改操作:
修改每个datanode节点的hadoop配置文件hdfs-site.xml:
增加dfs.datanode.max.transfer.threads属性的设置,设置为8192