专题 › HDFS › HDFS block missing 的问题

kaif22 发表于 2013-10-25 10:44:59

HDFS block missing 的问题

请问一下，最近在跑m/r时 经常会抛出 一些block missing ，导致job failed的情况。
请问下 是block真正从HDFS中丢失了么吗？还是namenode的元数据出了吗？
这种block丢失 只能重新 load数据到hdfs中么吗？
谢谢

kaif22 发表于 2013-10-25 10:44:59

你配置的replication值是多少吗？

einhep 发表于 2013-10-25 10:44:59

你配置的replication值是多少吗？
bigmike 发表于 2010-9-12 02:26

http://bbs.hadoopor.com/images/common/back.gif

rep=1

leo_1989 发表于 2013-10-25 10:44:59

....
你不会把rep设置的大一些么，
用的是伪分布式吗？

datong838 发表于 2013-10-25 10:44:59

真实的分布式, rep=1 或者设大都不是,只过不可能慢一点而已
还是能跑下来的
关键是 某些个map 或报block missing , 但是用fsck 查看的时候没说miss

when30 发表于 2013-10-25 10:44:59

真实的分布式, rep=1 或者设大都不是,只过不可能慢一点而已
还是能跑下来的
关键是 某些个map 或报 ...
MooNsKY 发表于 2010-9-13 14:06

http://www.hadoopor.com/images/common/back.gif

有几台机子在跑吗？

dgxl 发表于 2013-10-25 10:44:59

10 个机器

qz2003 发表于 2013-10-25 10:44:59

我也老遇到block missing的，我们rep是默认的3，重启一下就没有block missing的了。

查看完整版本: HDFS block missing 的问题