在Hadoop中用ArrayList出现的问题

about云腾讯认证空间

在Hadoop中用ArrayList有什么问题没
QQ图片20140515160639.jpg

把每个key对应的values放到List中然后遍历List 值就变了怎么回事啊?

pig2 · 发表于 2014-5-15 16:08:36

检查对象引用是否正确。
另外你这个用的地方不对，很容易造成OOM
只要有某个分组过大你这个就必定OOM了

sstutu · 发表于 2014-5-15 16:10:03

这就是我所有的数据

怎么用呢我想把values的值复制一份

pig2 · 发表于 2014-5-15 16:11:32

写这种程序尽量使内存能够动态流动，而不是常驻型
例如，你为何要复制一份？可不可以不同过复制一份来进行实现。

sstutu · 发表于 2014-5-15 16:15:11

我的数据那是Map后的现在想弄成

www.aaa.com       data1.txt|aaaa|192.168.0.1|2014-04-01|data2.txt|car1
www.aaa.com       data1.txt|abbb|192.168.0.2|2014-04-02|data2.txt|car1
www.aaa.com       data1.txt|accc|192.168.0.3|2014-04-03|data2.txt|car1
www.bbb.com       data1.txt|bbbb|192.168.0.4|2014-04-01|data2.txt|car2
www.bbb.com       data1.txt|bccc|192.168.0.5|2014-04-02|data2.txt|car2

这样做一个连接

map的数据是从两个文件来的