分享

DataNode机器上的数据块丢失会不会造成它所占据的磁盘空间无法利用?

hapjin 发表于 2015-4-30 10:05:21 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 14752
假设A机为DataNode,其上有100个64MB的数据块,由于网络故障,NameNode检测到A机上的所有数据块都丢失了,而如果此时又在NameNode上执行了
namenode -format 格式化了原来的HDFS,
那么A机上的那100个数据块是不是永远都无法被linux 文件系统 和 新的HDFS文件系统 访问到了?
那这100个数据块占用的磁盘空间会不会一直无法利用了?


已有(5)人评论

跳转到指定楼层
muyannian 发表于 2015-4-30 11:10:02
楼主说的是正确的,不能被使用了。
元数据信息已经被初始化了
回复

使用道具 举报

hapjin 发表于 2015-4-30 11:54:55
muyannian 发表于 2015-4-30 11:10
楼主说的是正确的,不能被使用了。
元数据信息已经被初始化了

那岂不是只能 把DataNode机器的磁盘进行格式化,才能释放那些数据块占用的空间了?

回复

使用道具 举报

bioger_hit 发表于 2015-4-30 11:58:21
hapjin 发表于 2015-4-30 11:54
那岂不是只能 把DataNode机器的磁盘进行格式化,才能释放那些数据块占用的空间了?

到相应目录删除即可
回复

使用道具 举报

langke93 发表于 2015-4-30 12:06:34
hapjin 发表于 2015-4-30 11:54
那岂不是只能 把DataNode机器的磁盘进行格式化,才能释放那些数据块占用的空间了?



找到下面配置的相应路径,删除即可
dfs.name.dir             /tmp/hadoop-%username%/dfs/name
dfs.data.dir             /tmp/hadoop-%username%/dfs/data

回复

使用道具 举报

hapjin 发表于 2015-4-30 14:56:24
langke93 发表于 2015-4-30 12:06
找到下面配置的相应路径,删除即可
dfs.name.dir             /tmp/hadoop-%username%/dfs/name
df ...

嗯,是的。我看到 ***/dfs/data/下面有数据块。。。。谢谢啦。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条