CDH spark On yarn

最近使用cdh的spark on yarn，除了cdh中给出的spark配置之外，打算增加spark相关配置。如 spark.driver.cores 等。在Apache版本中，这些配置直接配在spark-default.conf中，启动集群立即生效。

但是现在在cdh的版本中，发现不生效，这是怎么回事呢？
我早这里添加的配置

cdh spar自定义的k配置

用的cdh5.8版本，是不是yarn模式下直接忽略spark-deafult.conf文件呢？如果这样，官网中给出的参数岂不是不起作用？

部分官网给出的deploy on yarn的配置

哈根达斯 发表于 2017-3-31 13:51
用的cdh5.8版本，是不是yarn模式下直接忽略spark-deafult.conf文件呢？如果这样，官网中给出的参数岂不是不 ...

不建议手工修改，这样修改的客户端比较多。如果通过cloudera的配置界面，cloudera就直接做了，而且准确。
楼主在cloudera界面里面找到对应即可。

这里有cloudera hadoop的配置，spark应该一样的。
Cloudera hadoop配置文件地址和修改配置属性方法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=11057

langke93 发表于 2017-3-31 14:54
不建议手工修改，这样修改的客户端比较多。如果通过cloudera的配置界面，cloudera就直接做了，而且准确。 ...

spark-streamingd的配置参数，在cdh的界面中就没有。这事官网spark-streaming 的配置参数

spark-streaming部分参数

哈根达斯 发表于 2017-3-31 15:15
spark-streamingd的配置参数，在cdh的界面中就没有。这事官网spark-streaming 的配置参数

spark被整合到cloudera中，但是它的属性cloudera应该不会改的。楼主细心找找。cloudera界面中有一个地方搜索配置属性

CDH界面中没有配置就增加，之后记得重启服务，才可以

在页面增加了配置，但不生效