分享

wordcount eclipse上运行wordcount!

shenqianwen 发表于 2015-10-30 16:50:36 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 8978
hadoop2.6.0,在eclipse里面运行wordcount程序,参数设置应该没有问题
hdfs://192.168.1.110:9000/user/hadoop/input hdfs://192.168.1.110:9000/user/hadoop/output
但是运行之后报了这个错误:

log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in thread "main" java.lang.NullPointerException
at java.lang.ProcessBuilder.start(Unknown Source)
at org.apache.hadoop.util.Shell.runCommand(Shell.java:445)
at org.apache.hadoop.util.Shell.run(Shell.java:418)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:739)
at org.apache.hadoop.util.Shell.execCommand(Shell.java:722)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:633)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:421)
at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:281)
at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:125)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:348)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1285)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1282)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Unknown Source)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1282)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1303)
at com.test.WordCount.main(WordCount.java:68)
程序应该没有问题,直接copy的,望大神指教。

已有(5)人评论

跳转到指定楼层
bob007 发表于 2015-10-30 17:57:26
这里面有很多的问题
1.直接复制的,版本是否兼容
2.数据是否准备好,程序是直接读取文件,还是灵活的输入路径的方式
3.确保集群是启动的
4.检查程序,确实很多程序出现问题,会报这个错误
回复

使用道具 举报

shenqianwen 发表于 2015-11-2 14:57:23
bob007 发表于 2015-10-30 17:57
这里面有很多的问题
1.直接复制的,版本是否兼容
2.数据是否准备好,程序是直接读取文件,还是灵活的输入 ...

恩恩  搞定了  是hadoop.dll版本不对,需要hadoop.dll。
回复

使用道具 举报

bob007 发表于 2015-11-6 21:28:45
shenqianwen 发表于 2015-11-2 14:57
恩恩  搞定了  是hadoop.dll版本不对,需要hadoop.dll。

hadoop.dll怎么会不对,window下编译的?
回复

使用道具 举报

shenqianwen 发表于 2015-11-9 14:31:48
bob007 发表于 2015-11-6 21:28
hadoop.dll怎么会不对,window下编译的?

不是编译的,是网上下载的,windows环境中的eclipse连接hadoop集群,我在本地加了hadoop。dll就可以了,要不然跑mapreduce程序老是出错。。。。。。
回复

使用道具 举报

Alkaloid0515 发表于 2015-11-9 17:44:20
shenqianwen 发表于 2015-11-9 14:31
不是编译的,是网上下载的,windows环境中的eclipse连接hadoop集群,我在本地加了hadoop。dll就可以了, ...

用自己搞的比较省心

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条