Hadoop异常处理之exceeds the limit of concurrent xcievers

java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256
        at org.apache.Hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:165)

查看datanode日志存在*:50010:DataXceiver error processing WRITE_BLOCK operation  src

异常分析

文件操作超租期,实际上就是data stream操作过程中文件被删掉了。之前也遇到过,通常是因为Mapred多个task操作同一个文件,一个task完成后删掉文件导致。

不过这次在hdfs上传文件时发生了这个异常,导致上传失败

解决方案

修改hdfs-site.xml
  <property>
        <name>dfs.datanode.max.xcievers</name>
        <value>8192</value>
</property>
拷贝到各datanode节点并重启datanode即可

相关阅读

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/eb9fdf91ae850260829d99e1f845ac3e.html