专题 › HDFS › 求教，本地文件的映射问题

easthome001 发表于 2013-10-25 10:43:11

求教，本地文件的映射问题

目前我们可以看到HDFS把文件存储在了各个节点的Data文件夹下面。那么本人的是，能不能直接把写入到各个节点的data文件下面的文件，通过修改hadoop下面的一些什么文件，就可以直接把这些文件显示在Hdfs中，并且可以通过50070查看和下载。请高手指点迷津。

goldtimes 发表于 2013-10-25 10:43:11

这个我也很想知道...我有这方面的需求，初步的想法是修改namenode上的edits并且为每个datanode上的数据块写一个相对应的元数据文件，就是存储了CRC校验码的文件。如果想要完成以上步骤，需要特别熟悉写文件的流程，最近一直在看相关的源码，无奈能力有限，网上也没有源码分析是专门说如何生成edits文件，或者如何编写元数据文件的。
如果有大牛有思路，欢迎联系qq：99932708，敲门砖，hadoop，非常感谢！

yunjisuanxue 发表于 2013-10-25 10:43:11

个人感觉你自己写入data文件夹下，还需要给这些数据建立索引，然后将每个块的信息传递给datanode，你做这么多的过程，其实上传到HDFS，hadoop自己就部署好了这些工作，如果你的管理块的方式比hadoop现有的先进，你就自己写，不然的话，应该还是使用上传吧。

查看完整版本: 求教，本地文件的映射问题