求助spark

现在做一个spark数据存取优化的课题，请问要搭建哪种模式来做。

模式大概有5种，其中
spark独立模式（standalone）【集群模式】Spark原生的完全分布式集群，典型的Mater/slave模式，不过也能看出Master是有单点故障的；Spark支持 ZooKeeper来实现HA
spark on yarn【集群模式】
运行在yarn资源管理器框架之上，由yarn负责资源管理，Spark负责任务调度和计算
spark on mesos【集群模式】
运行在mesos资源管理器框架之上，由mesos负责资源管理，Spark负责任务调度和计算

上面三种都可以，如果独立模式比较耗内存，yarn模式比较推荐

做个课题的话，就直接用standalone模式就可以了！

学习了

starrycheng 发表于 2017-2-20 17:44
模式大概有5种，其中
spark独立模式（standalone）【集群模式】Spark原生的完全分布式集群，典型的Mater/s ...

请问下如果要测试spark性能，比如io，cpu之类的要怎么测试呢。。