fengshuangme 发表于 2018-9-3 15:52:22

hadoop 出现异常

Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1131094675-127.0.0.1-1535960494583:blk_1073742129_1305 file=/tmp/hadoop-yarn/staging/yuanbin/.staging/job_1535960514939_0002/job.split
有时候，在跑程序时，总会出现上面的情况，格式化namenode，以及重启hadoop 后，总是还时不时的出现；一旦出现这个问题，就要重新跑程序，太浪费时间了，不知道怎么解决！

sstutu 发表于 2018-9-3 16:38:39

用Hadoop命令检测下，是不是有的块坏掉了。修复下

fengshuangme 发表于 2018-9-5 15:07:26

sstutu 发表于 2018-9-3 16:38
用Hadoop命令检测下，是不是有的块坏掉了。修复下

你好，这个检测是不是用 hadoop fsck<file path> -files -blocks -locations ...来检测？

输出block 的状态都是HEALTHY，
每次只有重新格式化，而且格式化后，还会时不时的出现，一直很困扰。我的单节点伪分布式的环境。

sstutu 发表于 2018-9-5 21:10:00

fengshuangme 发表于 2018-9-5 15:07
你好，这个检测是不是用 hadoop fsck   -files -blocks -locations ...来检测？

输出block 的状态都是 ...

对的，可以检测
页: [1]
查看完整版本: hadoop 出现异常