分享

ERROR DataXceiver error processing WRITE_BLOCK operation

louiscool2 发表于 2015-11-27 11:49:53 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 21996
datanode日志发现如下ERROR,其中集群版本为cdh,dfs.datanode.max.transfer.threads已经是8192,hdfs yarn用户的nofile,nproc分别为32768,65536
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: lg-131:10510:DataXceiver error processing WRITE_BLOCK operation  src: /192.168.13.134:55660 dst: /192.168.13.131:10510
972497 java.io.IOException: Premature EOF from inputStream
972498     at org.apache.hadoop.io.IOUtils.readFully(IOUtils.java:194)
972499     at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.doReadFully(PacketReceiver.java:213)
972500     at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.doRead(PacketReceiver.java:134)
972501     at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.receiveNextPacket(PacketReceiver.java:109)
972502     at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.receivePacket(BlockReceiver.java:468)
972503     at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.receiveBlock(BlockReceiver.java:772)
972504     at org.apache.hadoop.hdfs.server.datanode.DataXceiver.writeBlock(DataXceiver.java:724)
972505     at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opWriteBlock(Receiver.java:126)
972506     at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:72)
972507     at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:226)


已有(4)人评论

跳转到指定楼层
arsenduan 发表于 2015-11-27 15:05:56
修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml, 增加如下内容:
<property>
<name>dfs.datanode.max.transfer.threads</name>
<value>8192</value>
</property>

重启hadoop 集群datanode
回复

使用道具 举报

louiscool2 发表于 2015-11-27 17:44:15
这一步已经做过了,我的贴子写了哦。
回复

使用道具 举报

starrycheng 发表于 2015-11-27 21:27:32
louiscool2 发表于 2015-11-27 17:44
这一步已经做过了,我的贴子写了哦。

楼主几台机器为什么从
src: /192.168.13.134:55660 到dst: /192.168.13.131:10510
写数据的时候流为空了 Premature EOF from inputStream
完成的什么任务及业务,造成流空,导致产生这个问题
回复

使用道具 举报

louiscool2 发表于 2015-11-27 22:32:45
两个datanode之间写数据,多半是pipeline内部写吧
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条