分享

【求助】spark运行打包的jar程序,遇到接受不到任务资源的问题

鄙人环境如下:
1台64位win7操作系统;
1.jpg
vmware安装1台ubuntu64位
2.jpg
我在这台机子上安装了伪分布式的Hadoop2.6环境和spark1.4伪分布式环境,其中spark配置文件spark-env.sh的配置如下: 3.jpg
Hadoop,spark启动正常
然后测试 spark-shell --master spark://Master:8070可以正常启动,运行。
4.jpg
测试spark-submit --master local ......  我用master指定local运行自己的jar程序没有问题,但是我用master 指定 spark://Master:8070,运行就出问题了如图:
5.jpg
提示: WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
资源不够。可是内存4G,spark2G,运行一个很小wordcount的小文件demo都会出现这样的问题。请各位大侠指点,困惑了好几天了。拜托了!!!


已有(2)人评论

跳转到指定楼层
杰仕人生 发表于 2015-8-22 15:15:10
知道问题了,配置spark-env.sh的内存太小了512M   指定的内存1G,所以就执行没有资源了
回复

使用道具 举报

NEOGX 发表于 2015-8-22 16:20:03
资源有点少
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条