分享

mapreduce的远程hadoop集群处理数据

转身 发表于 2015-9-6 16:25:16 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 6094
我在服务器上用虚拟机安装了一个完全分布式的hadoop集群,之前用eclipse来编程,让mapreduce处理数据,能成功运行处结果。最后我发现其实我做到的只是让本机建立的虚拟hadoop平台在处理,和虚拟机中安装的hadoop集群没有什么关系,只是把hadoop的HDFS来存放文本而已。现在我想通过eclipse来调用hadoop集群来处理,run on hadoop就是有错误:
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException:java.lang.ClassNotFoundException:org.apache.hadoop.security.JniBaseUnixGroupMappingWithFallback:……
……
……
……
我如果把eclipse的程序打包成jar到hadoop里面运行是没有问题的,但是直接在eclipse上想调用hadoop集群就出了问题,具体是什么问题,琢磨了好几天了,一点头绪也没有,求各位大大帮帮忙!万分感激

已有(2)人评论

跳转到指定楼层
arsenduan 发表于 2015-9-6 17:06:35
本帖最后由 arsenduan 于 2015-9-6 17:46 编辑

问一下楼主 个问题1.调用本地和远程,在代码方面有什么区别


回复

使用道具 举报

desehawk 发表于 2015-9-6 19:06:18
hadoop的core-defauft.xml配置中hadoop.security.group.mapping:

<property>

<name>hadoop.security.group.mapping</name>

<value>org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback</value>

</property>
这里是否配置了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条