goldtimes 发表于 2013-10-25 10:45:32

如何开启Hadoop的“回收站”功能？

为了方便删除文件后，可以恢复，Hadoop提供了“回收站”功能，可以通过修改core-site.xml中的配置项fs.trash.interval来开启这个功能，当“回收站”功能开启好，文件hadoop fs -rm和hadoop fs -rmr就不会真正删除文件了，而是将文件移到了“回收站”目录下，如：hdfs:///user/root/.Trash，更多细节可以查看NameNode的日志和http://hadoop.apache.org/common/docs/current/hdfs_design.html中的“File Deletes and Undeletes”一节。

xiaolongwu1987 发表于 2013-10-25 10:45:32

fs.trash.interval 的参数单位是 minutes.

sq331335144 发表于 2013-10-25 10:45:32

可以参考一下这个：
配置Namenode时,为了使其能够并行回收垃圾（parallelGC）， 要把下面的代码加入到hadoop-env.sh :
export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC ${HADOOP_NAMENODE_OPTS}"
其它可定制的常用参数还包括：
HADOOP_LOG_DIR - 守护进程日志文件的存放目录。如果不存在会被自动创建。
HADOOP_HEAPSIZE - 最大可用的堆大小，单位为MB。比如，1000MB。 这个参数用于设置hadoop守护进程的堆大小。缺省大小是1000MB。

louisthy 发表于 2013-10-25 10:45:32

这个回收站功能，就是个鸡肋啊。
实际上就是个mv操作。
可以设置回收站的大小限制吗?
页: [1]
查看完整版本: 如何开启Hadoop的“回收站”功能？