执行hive时datenode报错Broken pipe

2017-11-21 17:02:32,527 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: BlockSender.sendChunks() exception:  
java.io.IOException: 断开的管道
        at sun.nio.ch.FileChannelImpl.transferTo0(Native Method)
        at sun.nio.ch.FileChannelImpl.transferToDirectlyInternal(FileChannelImpl.java:428)
        at sun.nio.ch.FileChannelImpl.transferToDirectly(FileChannelImpl.java:493)
        at sun.nio.ch.FileChannelImpl.transferTo(FileChannelImpl.java:608)
        at org.apache.hadoop.net.SocketOutputStream.transferToFully(SocketOutputStream.java:223)
        at org.apache.hadoop.hdfs.server.datanode.BlockSender.sendPacket(BlockSender.java:547)
        at org.apache.hadoop.hdfs.server.datanode.BlockSender.sendBlock(BlockSender.java:716)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.readBlock(DataXceiver.java:486)
        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opReadBlock(Receiver.java:111)
        at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:69)
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:225)

可能hadoop的配置问题。
核实下hdfs-site.xml的dfs.data.dir配置。如果找不到问题，可以原图贴出来

qcbb001 发表于 2017-11-23 20:46
可能hadoop的配置问题。
核实下hdfs-site.xml的dfs.data.dir配置。如果找不到问题，可以原图贴出来

正常情况、执行一张小表count时也不报错
跑一张大表（大概50亿条，hdfs中一份数据1.5T）时就报错

一曲离殇 发表于 2017-11-23 21:00
正常情况、执行一张小表count时也不报错
跑一张大表（大概50亿条，hdfs中一份数据1.5T）时就报错

...

配置信息

一曲离殇 发表于 2017-11-23 21:01
配置信息

可能因为数据量太大，导致读取datanode数据超时。

easthome001 发表于 2017-11-23 22:26
可能因为数据量太大，导致读取datanode数据超时。

日志中并没有超时啊

一曲离殇 发表于 2017-11-24 07:19
日志中并没有超时啊

具体错误信息贴出来，大家一起分析下。最好多看几个错误日志，这样可以明确定位。

easthome001 发表于 2017-11-24 07:38
具体错误信息贴出来，大家一起分析下。最好多看几个错误日志，这样可以明确定位。

从启动后截取了几处错误，麻烦帮忙分析下，谢谢！！！
org.apache.hadoop.hdfs.server.datanode.DataNode: BlockSender.sendChunks()

一曲离殇 发表于 2017-11-24 09:36
从启动后截取了几处错误，麻烦帮忙分析下，谢谢！！！
org.apache.hadoop.hdfs.server.datanode.DataNod ...

是所有客户端都是这个错误，还是只是这一个客户端。磁盘是否满了。

服务端datanode节点报错，客户端hive可以正常执行