java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256
at org.apache.Hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:165)
查看datanode日志存在*:50010:DataXceiver error processing WRITE_BLOCK operation src
异常分析
文件操作超租期,实际上就是data stream操作过程中文件被删掉了。之前也遇到过,通常是因为Mapred多个task操作同一个文件,一个task完成后删掉文件导致。
不过这次在hdfs上传文件时发生了这个异常,导致上传失败
解决方案
修改hdfs-site.xml
<property>
<name>dfs.datanode.max.xcievers</name>
<value>8192</value>
</property>
拷贝到各datanode节点并重启datanode即可
相关阅读:
Ubuntu 13.04上搭建Hadoop环境