搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
博客
群组
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云
»
专题
›
交流区
›
技术交流
›
Spark
›
一个spark环境配置的问题
0
1
0
分享
一个spark环境配置的问题
zcfightings
发表于 2016-4-12 17:22:26
[显示全部楼层]
阅读模式
关闭右栏
1
6316
本地装了一台 spark client A,远程有spark 集群B ,现在想从本地连接远程的服务。想使用spark on yarn的模式进行配置。问题是,我不知道远端集群B的master地址。
问:
1.以spark on yarn模式配置的,需要知道集群master地址吗?(我个人感觉是应该要的,因为yarn不知道spark的master和worker,这边如果也不给,master怎么分配worker呢?但boss说不用,我一说他就说 你配成on yarn模式,我再说 他就说你搞清楚yarn是干嘛的)
2.客户端需不需要配slave? 这个是个人疑问。个人感觉应该不需要,client只要连接到了集群master,剩下的事情都是master来做了。
如上:求解释第一点,求证第二点。
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(1)人评论
电梯直达
正序浏览
atsky123
发表于 2016-4-12 17:50:26
Spark on YARN两种运行模式,一种是集群模式,这个需要知道master,一种client模式,这个应该可以不用知道。
比如
集群模式:
spark-submit --class org.apache.spark.examples.SparkPi --
master
yarn-cluster /usr/lib/spark/examples/lib/spark-examples_2.10-1.0.0-cdh5.1.0.jar
client模式:
spark-submit --class org.apache.spark.examples.SparkPi --deploy-mode client /usr/lib/spark/examples/lib/spark-examples_2.10-1.0.0-cdh5.1.0.jar
更多参考
Spark on YARN两种运行模式介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=12294
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
zcfightings
中级会员
关注
21
主题
74
帖子
9
粉丝
TA的主题
HBase 扫描中出现数据重复
2019-3-19
预测hive所消耗资源
2017-8-29
spark thrift server的两个问题 求帮忙分析
2017-1-18
hiveserver2使用连接池的问题
2016-11-2
获取hive作业实体
2016-9-18
24小时热文
哈佛通识教育红皮书 (北大高等教育文库·大
代码精进之路:从码农到工匠
为什么面试难!一文帮我们看透本质,拿捏of
程序员薪资排名,AI位居榜首,平均年薪277
Django实战:Python Web典型模块与项目开发
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈