立即注册
登录
About云-梭伦科技
返回首页
nettman的个人空间
https://aboutyun.com/?21
[收藏]
[复制]
[分享]
[RSS]
空间首页
动态
记录
日志
相册
主题
分享
留言板
个人资料
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
首页
Portal
专题
BBS
面试
更多
我的空间
好友
帖子
收藏
道具
勋章
任务
动态
日志
相册
分享
记录
留言板
群组
导读
日志
Hadoop2.2防止误删机制测试
已有 832 次阅读
2014-7-4 23:30
问题导读:
1.如何配置hadoop回收站机制?
2.删除hadoop文件后,被删文件被放到什么位置?
3.如何恢复被删除文件?
hadoop有垃圾回收机制,这里以hadoop2.2实验了一把。
Hadoop回收站trash,默认是关闭的。
建议最好还是把它提前开开,否则误操作的时候,就欲哭无泪了
1.修改conf/core-site.xml,增加
<property>
<name>fs.trash.interval</name>
<value>1440</value>
<description>Number of minutes between trash checkpoints.
If zero, the trash feature is disabled.
</description>
</property>
默认是0.单位分钟。这里我设置的是1天(60*24)
删除数据rm后,会将数据move到当前文件夹下的.Trash目录
2.测试
1)新建目录input
hadoop/bin/hadoop fs -mkdir /input
上面记得加上斜杠/
2)上传文件
aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -copyFromLocal test /input
编辑文件内容:
3)删除目录input
aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -rm -r /input
14/07/04 22:20:08 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 86400000 minutes, Emptier interval = 0 minutes.
Moved: 'hdfs://master:8020/input' to trash at: hdfs://master:8020/user/aboutyun/.Trash/Current
4)参看当前目录
aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -ls /user/aboutyun
Found 1 items
drwx------ - aboutyun supergroup 0 2014-07-04 22:20 /user/aboutyun/.Trash
发现input删除,在 /user/aboutyun/多了一个目录.Trash
进一步查看.Trash,下面的内容:
5)恢复刚刚删除的目录
aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -mv /user/aboutyun/.Trash/Current/input /input
6)检查恢复的数据
aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -text /input/test
test :
7)删除.Trash目录(清理垃圾)
aboutyun@master:/usr/hadoop/etc/hadoop$ hadoop fs -rm -r /user/aboutyun/.Trash
14/07/04 22:39:14 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 86400000 minutes, Emptier interval = 0 minutes.
Deleted /user/aboutyun/.Trash
路过
雷人
握手
鲜花
鸡蛋
收藏
分享
邀请
举报
全部
作者的其他最新日志
•
Hive drop卡住不动,该如何解决
•
Flink 读取hbase 慢该如何解决
•
CDH修改startdate,可以一直免费使用
•
k8s搭建大数据平台资源汇总
•
大数据学习记录
•
Impala、Hive如何存储图片
评论 (
0
个评论)
涂鸦板
您需要登录后才可以评论
登录
|
立即注册
评论
nettman
加为好友
给我留言
打个招呼
发送消息
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈