关于载数据进HDFS的问题

刚开始接触Hadoop，也看了《Hadoop In Action》，有一个一直不是很明白，可能比较弱。
就是譬如我有一系列的log file，是存在本地磁盘上的，如何把它们载入HDFS呢吗？是不是应该有些工具使得这一步可以自动些的，累加式的。

datong838 · 发表于 2013-10-25 10:44:39

现在我所知道的，使用方法是
hadoop fs -put
hadoop fs -copyFromLocal

xukunddp · 发表于 2013-10-25 10:44:39

恩你说的2点就可以将文件存储到HDFS中，你也可以通过API的方式，不过就是没有使用shell命令的方式来的简单

oChengZi1234 · 发表于 2013-10-25 10:44:39

恩你说的2点就可以将文件存储到HDFS中，你也可以通过API的方式，不过就是没有使用shell命令的方式来的简单
MooNsKY 发表于 2010-12-21 16:28

其实不一样的，你不能要求每个人都像我们这样了解linux和命令行，他们不懂用hadoop fs -ls的人如果也在使用hadoop，我们就需要给他们做一个界面，做界面就的在java啥的调用API咯～～

when30 · 发表于 2013-10-25 10:44:39

回复 4# wiwengweng
en ,要是想对普通的用户也能像使用windows操作系统一样来使用hadoop的话，就需要开发一个类似于HUE的东东呵呵
还是可以去做的，不过涉及到HDFS的东西一般都要求有特别权限的专业技术人员去做，对于普通用户不需要去关注底层的文件系统吧，
你比如用hive写HQL就能满足这类人的需求了

图文精华

关于载数据进HDFS的问题

已有(4)人评论

推荐 /2