Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.4经验总结

查看数: 88028 | 评论数: 16 | 收藏 6
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2014-5-20 02:06

正文摘要:

本帖最后由 nettman 于 2014-7-4 16:53 编辑 问题导读: 连接的过程大致差不多,这里只是说一下Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.4过程,及遇到的一些问题 1.log4j文件的作用是什么? 2.hadoo ...

回复

章鱼圈 发表于 2015-12-21 15:56:15
sstutu 发表于 2014-6-14 12:40
继续补充一些经历:
一早进入虚拟机启动Hadoop,发生异常,重新格式化一下恢复正常,原因待查(格式化:在 ...

“继续补充一些经历:
一早进入虚拟机启动Hadoop,发生异常,重新格式化一下恢复正常,原因待查(格式化:在 ...”我也是这个问题,后来解决了,我的是ubunu的tmp文件夹的日志关机清理,把hadoop配置文件的tmp位置更改以下就行。
小飞鱼123 发表于 2015-10-15 18:26:21
不错 赞一个
tang 发表于 2015-3-8 16:36:36
不错,学习了
pig2 发表于 2014-11-24 20:45:58
小熊007 发表于 2014-11-24 18:35
http://bbs.csdn.net/topics/390939620, 这个是我发的帖子,java.lang.Exception: java.lang.NullPointerE ...
这是本地运行的程序,mapreduce可能有问题。
参考

新手指导,该如何在开发环境中,创建mapreduce程序
小熊007 发表于 2014-11-24 18:35:28
http://bbs.csdn.net/topics/390939620, 这个是我发的帖子,[size=14.3999996185303px]java.lang.Exception: java.lang.NullPointerException
[size=14.3999996185303px]at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
[size=14.3999996185303px]at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)
[size=14.3999996185303px]Caused by: java.lang.NullPointerException
[size=14.3999996185303px]at java.lang.ProcessBuilder.start(Unknown Source)
[size=14.3999996185303px]at org.apache.hadoop.util.Shell.runCommand(Shell.java:445)
[size=14.3999996185303px]at org.apache.hadoop.util.Shell.run(Shell.java:418)
[size=14.3999996185303px]at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650)
[size=14.3999996185303px]at org.apache.hadoop.yarn.util.WindowsBasedProcessTree.isAvailable(WindowsBasedProcessTree.java:57)这个不知道哪里错了? 求助。 出现 nullpointer了 @pig2
烤玉米馒頭! 发表于 2014-10-27 21:09:55
我的是win8.1 64位 cdh5.2.0
烤玉米馒頭! 发表于 2014-10-27 21:07:43
靠.我也是修改源码成功的!!
pig2 发表于 2014-10-13 14:44:51
大家尽量回帖,不要私信,让更多人学到知识

斑竹,我用win 2003 64bit下的Eclipse远程调试hadoop 2.4.1的wordcount例子,job总是失败的,报:/bin/bash:line 0:fg:no job control。请问是在哪里出了问题?
我看过hadoop 2.2的patch在2.4都修复掉了,使用run on hadoop 和run as java application都报同样的错误,在服务端集群上看到了相关的job。但是把word count打成jar包后在集群里面是可以正常执行的,就是远程调试不行。



回答:


插件跟版本一定匹配,最好自己编译,这样插件才能放心使用。有时候插件是个累赘,可以看看
hadoop开发方式总结及操作指导
梦回三国 发表于 2014-9-3 21:18:01
pig2 发表于 2014-9-2 23:10
使用Run Application的话,用插件反而是累赘。
有的插件跟环境有关系。
可以不使用插件。

好的,真是太感谢了
关闭

推荐上一条 /2 下一条