spark-shell yarn-client模式启动异常问题

einhep 发表于 2016-12-19 09:52
尝试修改spark-default.conf
具体如下
spark.driver.extraJavaOption -Dhdp.version=current

你好，current是代表的当前版本吗，如果是，那当前版本怎么确定啊。

在提交之前在yarn-site.xml中配置内存检查的属性：如下 都设置成false。然后重启yarn 开启历史服务器
<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
        <property>
                <name>yarn.nodemanager.pmem-check-enabled</name>
                <value>false</value>
        </property>

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

志爱007 发表于 2018-11-12 00:13
在提交之前在yarn-site.xml中配置内存检查的属性：如下 都设置成false。然后重启yarn 开启历史服务器

   ...

还要在spark-env.sh 中添加yarn配置文件的位置：
YARN_CONF_DIR=/usr/local/hadoop-2.7.2/etc/hadoop