About云-梭伦科技»专题 › 交流区 › 技术交流 › Spark › CDH spark On yarn

CDH spark On yarn

查看数: 8329 | 评论数: 6 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

帖子模式

哈根达斯

发布时间: 2017-3-31 13:49

正文摘要:

最近使用cdh的spark on yarn，除了cdh中给出的spark配置之外，打算增加spark相关配置。如 spark.driver.cores 等。在Apache版本中，这些配置直接配在spark-default.conf中，启动集群立即生效。但是现在在cdh的版 ...

哈根达斯 发表于 2017-4-21 11:04:26

在页面增加了配置，但不生效

levycui 发表于 2017-4-1 17:29:44

CDH界面中没有配置就增加，之后记得重启服务，才可以

easthome001 发表于 2017-3-31 16:11:06

哈根达斯发表于 2017-3-31 15:15
spark-streamingd的配置参数，在cdh的界面中就没有。这事官网spark-streaming 的配置参数

spark被整合到cloudera中，但是它的属性cloudera应该不会改的。楼主细心找找。cloudera界面中有一个地方搜索配置属性

langke93 发表于 2017-3-31 14:54:08

哈根达斯发表于 2017-3-31 13:51
用的cdh5.8版本，是不是yarn模式下直接忽略spark-deafult.conf文件呢？如果这样，官网中给出的参数岂不是不 ...

不建议手工修改，这样修改的客户端比较多。如果通过cloudera的配置界面，cloudera就直接做了，而且准确。
楼主在cloudera界面里面找到对应即可。

这里有cloudera hadoop的配置，spark应该一样的。
Cloudera hadoop配置文件地址和修改配置属性方法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=11057

图文精华

CDH spark On yarn

正文摘要:

回复

推荐 /2