louiscool2 发表于 2015-11-17 11:02:02

spark sql性能问题

有使用过sparksql 的吗？感觉性能如何
我做了个测试spark sql很慢呀，impala和presto都是几秒出来，sparksql需要几十秒。


arsenduan 发表于 2015-11-17 11:56:05

相对来讲 impala更快一些

这是英文版比较
https://amplab.cs.berkeley.edu/benchmark/

mituan2008 发表于 2015-11-17 21:42:25



你们两个问题差不多
求Streaming查询hbase的方法
http://www.aboutyun.com/thread-16046-1-1.html




louiscool2 发表于 2015-11-23 09:57:50

问题已解决。谢谢大家的回复，后来快了很多，但相比impala,presto还是要慢不少，我用的是spark on yarn，原来spark sql起的executor默认是1所以很慢。

Fortitude 发表于 2015-11-24 11:57:49

楼主你好，请问你是怎么解决查询慢的问题的？你做过spark on yarn和standalone的查询对比吗？至于你说的executor默认为1好像是instance默认为1，但是我发现我把这个值改大后并行的tasks是多了，但每个task的执行时间变长了，总体执行时间差不多。
页: [1]
查看完整版本: spark sql性能问题