夏洛特猫 发表于 2016-9-5 09:03:41

HDFS上是否可以进行多个文件的合并

本帖最后由 夏洛特猫 于 2016-9-5 09:16 编辑

内容如标题所示，不知道hdfs是否可以满足这样的操作了，也谢谢各位的指导。HDFS上有三个文件，分别为1,2,3 ，是否可以直接在hdfs上进行文件合并（不需要从hdfs拷贝到本地之后在本地处理完再上传）Hadoop版本是hadoop-2.0以上


pergrand 发表于 2016-9-5 10:06:23

hdfs dfs -cat /path/* | hdfs dfs -copyFromLocal - /newpath/file

夏洛特猫 发表于 2016-9-5 10:13:31

pergrand 发表于 2016-9-5 10:06
hdfs dfs -cat /path/* | hdfs dfs -copyFromLocal - /newpath/file

谢谢您的回复 copy 的命令后面的“-” 不太清楚，看结果“-”是转换后的文件名但如果换成其他名称就会报错，不知道您能否解释下这个-的参数

pergrand 发表于 2016-9-5 10:16:49

夏洛特猫 发表于 2016-9-5 10:13
谢谢您的回复 copy 的命令后面的“-” 不太清楚，看结果“-”是转换后的文件名但如果换成其他名称就会报 ...

用这个吧，hadoop fs -cat hdfs://path/*.txt | hadoop fs -appendToFile - hdfs://newpath/hdfs.txt
appendtofile是讲多个文件合并一个

pergrand 发表于 2016-9-5 10:20:16

本帖最后由 pergrand 于 2016-9-5 10:23 编辑

pergrand 发表于 2016-9-5 10:16
用这个吧，hadoop fs -cat hdfs://path/*.txt | hadoop fs -appendToFile - hdfs://newpath/hdfs.txt
ap ...
http://lxw1234.com/archives/2015/09/481.htm

夏洛特猫 发表于 2016-9-5 10:40:21

pergrand 发表于 2016-9-5 10:16
用这个吧，hadoop fs -cat hdfs://path/*.txt | hadoop fs -appendToFile - hdfs://newpath/hdfs.txt
ap ...

谢谢您的回复 多谢
页: [1]
查看完整版本: HDFS上是否可以进行多个文件的合并