IT_雪夜归人 发表于 2016-5-9 16:00:55

HDFS副本问题

现在有三台机器的一个CDH集群,但是硬盘配置不太一样,导致默认三副本下面,有一台服务器硬盘较小成为短板,求教最好的处理办法是什么?生产环境不容有失,求教。
问题:1、最好的处理方法是什么?
          2、因为主要是hbase数据,是否可以通过修改配置,只让新增的数据是两副本?
          3、直接这么干hadoop fs -setrep -R 2 /hbase 是否有风险(hdfs空间三台已经占用了20T了,生产环境),是否有风险?
          4、先做hdfs快照,然后尝试 hadoop fs -setrep -R 2 /hbase 出了问题是否可以通过hdfs快照恢复数据?
问的问题比较多,因为比较急,也比较谨慎,求大神们耐心解答,非常感谢。

IT_雪夜归人 发表于 2016-5-9 17:28:50

我想到的还有就是把硬盘小的那个datanode下线

bioger_hit 发表于 2016-5-9 18:59:32

本帖最后由 bioger_hit 于 2016-5-9 19:02 编辑

1.快照的数据的备份是没有问题的,对于副本还不太清楚。

2.为何想修改为两个副本,一般三个是比较合适的。空间不够可以增加节点

3.hadoop可以配置剩余空间,楼主可以单独配置一个datanode尝试
hadoop2 里面 磁盘预留空间配置参数 是???
http://www.aboutyun.com/forum.php?mod=viewthread&tid=9492
4.如果能摘掉,可以摘掉那个节点



页: [1]
查看完整版本: HDFS副本问题