jooli 发表于 2013-10-25 10:44:56

HDFS容灾备份问题

最近hadoop的应该刚刚接入原有的应用生态系统，并发现服务的硬盘很容易坏掉。由于目前hadoop的任务和处理的数据量暂时没有那么多大，所以只有两台机器，一个是 master,另一个是slaves。
目前的配置是两台机器都充当secondary 和 datanode,hdfs-stie.xml 配置是 ：

    dfs.name.dir
    /data/hadoopdata/tmp/fs/name


    dfs.data.dir
    /data/hadoopdata/tmp/fs/data


    fs.checkpoint.dir
    /data/hadoopdata/tmp/fs/namesecondary,/data/hadoopdata/tmp/fs/namesecondary-backup


    dfs.replication
    2


    dfs.http.address
    master:50070

secondary 是可以备份到两台机器，master有全部的元数据，而slaves 大概有65%。
但是在应用当中硬盘坏了，很担心万一master的硬盘坏了，就不能恢复所有的数据了，我想请教一下，如何能把元数据完整的让hadoop自动备份指定的机器上吗？
谢谢！

a2325145 发表于 2013-10-25 10:44:56

如果你用的是hadoop 0.20.2，对于secondaytnamenode有这篇文章可以看看
http://blog.csdn.net/dajuezhao/archive/2010/11/04/5987580.aspx

louisthy 发表于 2013-10-25 10:44:56

补充，也 就 是 两台机器 ，master挂掉了 ，miss的不但有 元数据还有块数据

mexiang 发表于 2013-10-25 10:44:56

回一个，应该算搞定了
页: [1]
查看完整版本: HDFS容灾备份问题