hj022000 发表于 2015-12-11 15:38:09

java.io.IOException: Could not obtain block:

一般集群运行大型作业的时候，经常出现这个原因，是什么原因导致的了？

atsky123 发表于 2015-12-11 15:42:41

Could not obtain block
datanode不能保存block，就像磁盘不能保存数据，也就是datanode有的坏掉了。查看下datanode的日志，

hj022000 发表于 2015-12-11 15:48:40

atsky123 发表于 2015-12-11 15:42
Could not obtain block
datanode不能保存block，就像磁盘不能保存数据，也就是datanode有的坏掉了。查看 ...

恩，任务失败了，我又去获取那个之前不能获取的block块，此时是可以get下来的，同时这个程序再次执行的时候，又可以执行了，奇怪的原因，
不知道这个原因可是最终的原因：http://www.aboutyun.com/thread-5925-1-1.html
这个值我们是默认配置的

atsky123 发表于 2015-12-11 15:55:11

hj022000 发表于 2015-12-11 15:48
恩，任务失败了，我又去获取那个之前不能获取的block块，此时是可以get下来的，同时这个程序再次执行的时 ...

可能是处理文件过多了。

hj022000 发表于 2015-12-11 16:13:17

atsky123 发表于 2015-12-11 15:55
可能是处理文件过多了。

恩，这块有什么好的解决方式吗？
页: [1]
查看完整版本: java.io.IOException: Could not obtain block: