louiscool2 发表于 2015-11-27 11:49:53

ERROR DataXceiver error processing WRITE_BLOCK operation

datanode日志发现如下ERROR，其中集群版本为cdh，dfs.datanode.max.transfer.threads已经是8192，hdfs yarn用户的nofile，nproc分别为32768,65536
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: lg-131:10510:DataXceiver error processing WRITE_BLOCK operationsrc: /192.168.13.134:55660 dst: /192.168.13.131:10510
972497 java.io.IOException: Premature EOF from inputStream
972498   at org.apache.hadoop.io.IOUtils.readFully(IOUtils.java:194)
972499   at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.doReadFully(PacketReceiver.java:213)
972500   at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.doRead(PacketReceiver.java:134)
972501   at org.apache.hadoop.hdfs.protocol.datatransfer.PacketReceiver.receiveNextPacket(PacketReceiver.java:109)
972502   at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.receivePacket(BlockReceiver.java:468)
972503   at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.receiveBlock(BlockReceiver.java:772)
972504   at org.apache.hadoop.hdfs.server.datanode.DataXceiver.writeBlock(DataXceiver.java:724)
972505   at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opWriteBlock(Receiver.java:126)
972506   at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:72)
972507   at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:226)


arsenduan 发表于 2015-11-27 15:05:56

修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml, 增加如下内容:
<property>
<name>dfs.datanode.max.transfer.threads</name>
<value>8192</value>
</property>

重启hadoop 集群datanode

louiscool2 发表于 2015-11-27 17:44:15

这一步已经做过了，我的贴子写了哦。

starrycheng 发表于 2015-11-27 21:27:32

louiscool2 发表于 2015-11-27 17:44
这一步已经做过了，我的贴子写了哦。
楼主几台机器为什么从
src: /192.168.13.134:55660 到dst: /192.168.13.131:10510
写数据的时候流为空了 Premature EOF from inputStream
完成的什么任务及业务，造成流空，导致产生这个问题

louiscool2 发表于 2015-11-27 22:32:45

两个datanode之间写数据，多半是pipeline内部写吧
页: [1]
查看完整版本: ERROR DataXceiver error processing WRITE_BLOCK operation