MapReduce里加入jcuda？

查看数: 9210 | 评论数: 5 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2016-4-28 18:09

代码写完打包，到集群中用hadoop jar命令提交运行后，装有GPU的节点会运行jcuda代码，但是在该节点上创建contianer会因为虚拟内存不足被杀掉，为什么运行jcuda代码需要22.4GB的虚拟内存？我的数据才200Mb并不大啊？ ...

树叶的狂欢 发表于 2016-4-29 21:44:49

atsky123 发表于 2016-4-29 21:38
一台电脑16G就已经是很不错的配置了，一下子20多G，这根本不合理的。
楼主可能进入死胡同
思考的方向不 ...

恩，现在我也不知道为什么这个job会去申请20多G的虚拟内存,不知道是啥问题呀，现在是靠强行增大虚拟内存把这个问题解决了，但感觉只是扬汤止沸，不能釜底抽薪啊

atsky123 发表于 2016-4-29 21:38:10

树叶的狂欢发表于 2016-4-28 21:17
有人能帮帮我吗？

一台电脑16G就已经是很不错的配置了，一下子20多G，这根本不合理的。
楼主可能进入死胡同
思考的方向不对，而具体的细节只有楼主自己知道。
只能建议楼主跳出自己的思维。

树叶的狂欢 发表于 2016-4-28 21:17:17

有人能帮帮我吗？

树叶的狂欢 发表于 2016-4-28 21:14:18

bioger_hit 发表于 2016-4-28 19:05
应该不会的，总共是22.4GB用了4G多一些。
说是超过了限制，猜测是mapreduce的配置问题。
比如，你的内存 ...

不是的，是虚拟内存只有4g，但是申请了22.4GB的虚拟内存，因为虚拟内存不足导致Container被杀死的，我的jvm内存和container的内存配过了，jvm内存是略小于Container内存的，所以不是你说的那个问题，哎，不知道该怎么办了

bioger_hit 发表于 2016-4-28 19:05:36

应该不会的，总共是22.4GB用了4G多一些。
说是超过了限制，猜测是mapreduce的配置问题。
比如，你的内存可能是足够的，但是如果mapreduce的jvm超过了memory的设置，同样会报内存不够。而这个内存不够并不是指物理内存不够，而是配置不当造成的

图文精华