feature09 发表于 2017-8-23 01:48:23

sqoop2的输出文件问题

使用sqoop2，版本是1.99.7。我的输出路径下，一共输出了8个文件。。。总共只有20多条的数据，每个文件只有三四条的数据。。。

在哪里可以更改输出成一个文件呢。？

nextuser 发表于 2017-8-23 09:33:26

可以尝试三个办法：
使用sqoop -m设置为1，这样map有一个，不出意外，reduce可能为1一个。
如果上面的办法没有奏效，还可以从hadoop的配置文件入手。
sqoop本质跑的是mapreduce，所以hadoop配置文件中设置下参数。这个也存在一个缺点就是跟分区函数还有些关系。
第三个办法，就是通过shell来合并文件。

feature09 发表于 2017-8-23 12:54:45

上午测试了。
是改变Loaders: 1

官网给的是：
Extractors: 2
Loaders: 2
输出的是两个文本。
我用的是：
Extractors: 2
Loaders: 1
然后就输出一个文本了。

如果默认回车，就会产生好几个。之前就是产生了10个文本。
页: [1]
查看完整版本: sqoop2的输出文件问题