分享

Har归档文件,如何代码实现

jooli 发表于 2013-10-25 10:43:01 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 9613
用户需要上传文件到hdfs中,但是基本上文件都比较小,如何处理,采用Har,如何通过代码实现
可以手动创建har归档文件,前提是不是一定要将小文件先上传到hdfs中
如何通过代码实现创建归档文件har,而不是hadoop命令
谢谢大家指导下

已有(4)人评论

跳转到指定楼层
Alkaloid0515 发表于 2013-10-25 10:43:01
研究下HarFileSystem这个类,应该可以调用
回复

使用道具 举报

nextuser 发表于 2013-10-25 10:43:01
回复 2# Tuzibuluo
   感谢您的回复,我看那个类中貌似没有Har文件创建的方法,只是可以通过listStatus列出har文件中的文件   但是还是没有找到创建har文件的方法,现在只能通过hadoop命令来创建
   如果您有好的方法,请回复我下,谢谢
回复

使用道具 举报

lovejunxia 发表于 2013-10-25 10:43:01
回复 3# TmRobust
   通过hadoop shell的命令

追溯到源代码是如何实现的..具体的自己跟踪下了..我也不是很清楚,找到了告诉我一省,我也学习学习
回复

使用道具 举报

yuanqingyu0123 发表于 2013-10-25 10:43:01
回复 4# Tuzibuluo
  可以通过代码实现创建归档文件了主要使用的类是HadoopArchives类
[color=] org.apache.hadoop.tools.HadoopArchives
[color=]在hadoop-tools.jar中吧
[color=]方法是archive方法,你可以看看
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条