立即注册 登录
About云-梭伦科技 返回首页

nettman的个人空间 https://aboutyun.com/?21 [收藏] [复制] [分享] [RSS]

日志

Hadoop2.2防止误删机制测试

已有 832 次阅读2014-7-4 23:30

问题导读:
1.如何配置hadoop回收站机制?
2.删除hadoop文件后,被删文件被放到什么位置?
3.如何恢复被删除文件?






hadoop有垃圾回收机制,这里以hadoop2.2实验了一把。
Hadoop回收站trash,默认是关闭的。 
建议最好还是把它提前开开,否则误操作的时候,就欲哭无泪了

1.修改conf/core-site.xml,增加

  1. <property> 
  2. <name>fs.trash.interval</name> 
  3. <value>1440</value> 
  4. <description>Number of minutes between trash checkpoints. 
  5. If zero, the trash feature is disabled. 
  6. </description> 
  7. </property>


默认是0.单位分钟。这里我设置的是1天(60*24) 
删除数据rm后,会将数据move到当前文件夹下的.Trash目录

2.测试 
1)新建目录input
  1. hadoop/bin/hadoop fs -mkdir /input

 

上面记得加上斜杠/




2)上传文件
  1. aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -copyFromLocal test /input

 
编辑文件内容:
 


3)删除目录input

  1. aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -rm -r /input
  2. 14/07/04 22:20:08 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 86400000 minutes, Emptier interval = 0 minutes.
  3. Moved: 'hdfs://master:8020/input' to trash at: hdfs://master:8020/user/aboutyun/.Trash/Current






4)参看当前目录
  1. aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -ls /user/aboutyun
  2. Found 1 items
  3. drwx------   - aboutyun supergroup          0 2014-07-04 22:20 /user/aboutyun/.Trash



发现input删除,在 /user/aboutyun/多了一个目录.Trash
 


进一步查看.Trash,下面的内容:
 




5)恢复刚刚删除的目录
  1. aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -mv /user/aboutyun/.Trash/Current/input  /input



6)检查恢复的数据
  1. aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -text /input/test
  2. test :



 



7)删除.Trash目录(清理垃圾)
  1. aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -rm -r /user/aboutyun/.Trash 
  2. 14/07/04 22:39:14 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 86400000 minutes, Emptier interval = 0 minutes.
  3. Deleted /user/aboutyun/.Trash

 




路过

雷人

握手

鲜花

鸡蛋

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条