分享

collect完的数据如何以txt文本保存到hdfs指定路径上?

nike1972 发表于 2016-8-11 22:33:44 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 14178
采用collect进行收集,得到tuple类型的Array,现在需要将这个Array写到hdfs的指定位置上,且写入txt文件,应该如何操作?如果用saveasTextFile生成的还是文件夹,我希望能够直接生成我想要的txt文件。。。。

已有(3)人评论

跳转到指定楼层
qcbb001 发表于 2016-8-12 16:24:04
可参考下吗内容:应该是可以的
$mkdir input
$cd input
$echo "hello world">test1.txt
$echo "hello hadoop">test2.txt
TextOutputFormat输出的文件是txt文件
回复

使用道具 举报

nike1972 发表于 2016-8-13 10:50:36
qcbb001 发表于 2016-8-12 16:24
可参考下吗内容:应该是可以的
$mkdir input
$cd input

你这个是shell吧,我是想在代码里面实现这个功能,直接将rdd的结果收集到txt中,应该是用scala代码
回复

使用道具 举报

ledasion 发表于 2017-1-23 10:30:05
可以试一试这个

import java.io.{PrintWriter,File}
val path = ""
  
val writer = new PrintWriter(new File("test.txt" ))

writer.write("Hello Scala")
writer.close()
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条