分享

down机问题

lijian123841314 发表于 2013-10-25 10:45:59 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 5155
请教个.
在hdfs里,是通过block的version保持一致性的.
请问,在哪些条件下,version会改变
(问这个的主要目的,是在namenode和datenode down掉的情况下,对数据的影响)

已有(2)人评论

跳转到指定楼层
lxs_huntingjob 发表于 2013-10-25 10:45:59
回复 1# guxiangxi
    一般发生在dn挂了重启之后,如你正往HDFS里写数据,在pipeline上,其中一个节点挂了~~
回复

使用道具 举报

ruanhero 发表于 2013-10-25 10:45:59
正如楼上所说,直白点就是:
在hadoop正常运行的情况下,此时正在进行写操作.由于写操作的流程如下:
1....
2.将数据流发送给具有租约的某一个节点,不仿设为D1.D1把数据分发给D2,D2在把数据分发给D3.
3...
如果在第二步中,或是后继步中,出现D1,D2,D3, 中的任意一个节点挂机了.那么该block的version增加1.
不知道楼上是不是这个意识.
另外,是否有其他情况会改变version.
因为我现在想升级分布式文件系统,比较害怕数据丢失,
此外,请教一个,在升级的过程中,是否应该先kill掉master然后在kill掉其他节点.这样是不是要好些.
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条