SPARK上跑HIVE，性能跟MR差不多，有时候更差，是否我参数设置不对？

lmlm1234 · 发表于 2015-11-22 09:51:50

应该是参数设置不对！！！

s060403072 · 发表于 2015-11-22 10:03:05

数据量多大

langke93 · 发表于 2015-11-22 11:57:47

跟环境和配置有关系的。

比如hadoop处理小文件，小数量反而会慢，没有传统程序快。
hadoop处理大数据的时候肯定是比传统程序快的。

所以spark个人认为也是同样的道理。所以楼主最好说下自己的环境

图文精华