分享

求教,本地文件的映射问题

easthome001 发表于 2013-10-25 10:43:11 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 4470
目前我们可以看到HDFS把文件存储在了各个节点的Data文件夹下面。那么本人的是,能不能直接把写入到各个节点的data文件下面的文件,通过修改hadoop下面的一些什么文件,就可以直接把这些文件显示在Hdfs中,并且可以通过50070查看和下载。请高手指点迷津。

已有(2)人评论

跳转到指定楼层
goldtimes 发表于 2013-10-25 10:43:11
这个我也很想知道...我有这方面的需求,初步的想法是修改namenode上的edits并且为每个datanode上的数据块写一个相对应的元数据文件,就是存储了CRC校验码的文件。如果想要完成以上步骤,需要特别熟悉写文件的流程,最近一直在看相关的源码,无奈能力有限,网上也没有源码分析是专门说如何生成edits文件,或者如何编写元数据文件的。
如果有大牛有思路,欢迎联系qq:99932708,敲门砖,hadoop,非常感谢!
回复

使用道具 举报

yunjisuanxue 发表于 2013-10-25 10:43:11
个人感觉你自己写入data文件夹下,还需要给这些数据建立索引,然后将每个块的信息传递给datanode,你做这么多的过程,其实上传到HDFS,hadoop自己就部署好了这些工作,如果你的管理块的方式比hadoop现有的先进,你就自己写,不然的话,应该还是使用上传吧。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条