分享

hadoop指定文件输入参数问题

nwpu053871 发表于 2016-5-18 15:39:10 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 12 11038
einhep 发表于 2016-5-18 18:14:28
本帖最后由 einhep 于 2016-5-18 18:17 编辑
nwpu053871 发表于 2016-5-18 17:50
文件的权限如下:
[hadoop@ci01v ~/hadoop-0.20.1/logs]$ hadoop fs -ls /user/hadoop/tmp/hello.txt
Fou ...

是在window下还是Linux下

如果使用的是cygwin
解决方法: 只需要把cygwin的bin目录加到windows的用户环境变量中就可以了,然后需要重启eclipse

回复

使用道具 举报

nwpu053871 发表于 2016-5-18 18:34:09
知道原因了:
1. 要配置mapred.job.tracker,否则默认在本地执行,而不是在远端
conf.set("mapred.job.tracker","10.16.59.185:9001");  
没有配置的话就会报上面找不到文件的错误

2. 要将工程打jar包导出,并防止在工程的根目录下,然后配置mapred.jar,否则会有ClassNotFoundException,提示找不到mapper类:
conf.set("mapred.jar", "WordCount4.jar");
回复

使用道具 举报

shuijun1106 发表于 2016-5-20 09:47:38
这个问题我也经常遇到,一直无法解决,这里谢谢楼主了
回复

使用道具 举报

12
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条