分享

spark2随机端口范围限制

pig2 发表于 2019-11-8 19:07:48 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 0 1892

和咱们VIP老马经常讨论问题,这次这个问题有点让我意外。也没想到spark2挺人性化的,对于随机端口提供了范围的限制。

如何指定Spark2作业中Driver和Executor使用指定范围内端口那?按照下面操作


配置Spark Driver和Executor端口范围


1.登录到CM管理界面,进入Spark服务的配置界面

1.jpg

2.在Gateway分类中配置也搜索“spark-defaults.conf”,添加如下配置:
spark.driver.port=10000spark.blockManager.port=20000spark.port.maxRetries=999
(可左右滑动)
2.jpg


3.保存配置,并重新部署Spark2的客户端配置
3.jpg



参考
https://cloud.tencent.com/developer/article/1349474

没找到任何评论,期待你打破沉寂

关闭

推荐上一条 /2 下一条