运行wordcount不成功

查看数: 21306 | 评论数: 14 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2015-3-22 00:07

正文摘要:

[root@lcx mapreduce]# hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount hdfs://lcx:9000/words hdfs://lcx:9000/wcount 15/03/20 08:02:41 INFO client.RMProxy: Connecting to ResourceManager at lcx ...

回复

ainubis 发表于 2015-4-2 23:49:37
arsenduan 发表于 2015-3-22 23:54:29
xiaoqian3599 发表于 2015-3-22 23:46
输出文件夹要手动创建吗?输入文件还要赋予什么权限呢?

输出文件夹手动创建,
对于输入文件,如果不太了解,就授予777权限。
新创建的输出文件夹同样要注意权限。
可参考这个:
让你真正了解chmod和chown命令的用法

xiaoqian3599 发表于 2015-3-22 23:46:36
arsenduan 发表于 2015-3-22 23:14
输入文件words,最好授予更多权限
输出文件夹没有看到wcount

输出文件夹要手动创建吗?输入文件还要赋予什么权限呢?
arsenduan 发表于 2015-3-22 23:14:44
xiaoqian3599 发表于 2015-3-22 23:13
Found 5 items
drwx------   - root supergroup          0 2015-03-22 06:20 /hadoop
drwx------   -  ...

输入文件words,最好授予更多权限
输出文件夹没有看到wcount

xiaoqian3599 发表于 2015-3-22 23:13:21
arsenduan 发表于 2015-3-22 23:09
输入文件words,最好授予更多权限
输出文件夹没有看到

Found 5 items
drwx------   - root supergroup          0 2015-03-22 06:20 /hadoop
drwx------   - root supergroup          0 2015-03-22 06:20 /lcx
-rw-r--r--   1 root supergroup       1366 2015-03-20 03:03 /readme.txt
drwx------   - root supergroup          0 2015-03-20 03:07 /tmp
-rw-r--r--   1 root supergroup         56 2015-03-20 03:19 /words
[root@lcx mapreduce]# more words
hello        tom
hello        jerry
hello        kitty
heool        world
hello        tom
这是输入文件信息,输出文件夹,我就默认输出

arsenduan 发表于 2015-3-22 23:09:31
本帖最后由 arsenduan 于 2015-3-22 23:11 编辑
xiaoqian3599 发表于 2015-3-22 23:01
[root@lcx mapreduce]# hadoop fs -ls /
Found 5 items
drwx------   - root supergroup          0 20 ...


输入文件words,最好授予更多权限
输出文件夹没有看到

xiaoqian3599 发表于 2015-3-22 23:01:02

[root@lcx mapreduce]# hadoop fs -ls /
Found 5 items
drwx------   - root supergroup          0 2015-03-22 06:20 /hadoop
drwx------   - root supergroup          0 2015-03-22 06:20 /lcx
-rw-r--r--   1 root supergroup       1366 2015-03-20 03:03 /readme.txt
drwx------   - root supergroup          0 2015-03-20 03:07 /tmp
-rw-r--r--   1 root supergroup         56 2015-03-20 03:19 /words
可以看到文件

arsenduan 发表于 2015-3-22 22:25:28
xiaoqian3599 发表于 2015-3-22 22:14
hadoop-root-datanode-lcx.log           hadoop-root-secondarynamenode-lcx.out.1
hadoop-root-datano ...

如下图:



看关于yarn的日志
xiaoqian3599 发表于 2015-3-22 22:14:23
arsenduan 发表于 2015-3-22 22:02
点击看看日志。
然后进入输入文件和输出目录,列出他们的权限看看,权限是否足够

hadoop-root-datanode-lcx.log           hadoop-root-secondarynamenode-lcx.out.1
hadoop-root-datanode-lcx.out           SecurityAuth-root.audit
日志文件有这些,请问下看哪一个?
hadoop-root-namenode-lcx.log           yarn-root-nodemanager-lcx.log
hadoop-root-namenode-lcx.out           yarn-root-nodemanager-lcx.out
hadoop-root-namenode-lcx.out.1         yarn-root-resourcemanager-lcx.log
hadoop-root-secondarynamenode-lcx.log  yarn-root-resourcemanager-lcx.out
hadoop-root-secondarynamenode-lcx.out  yarn-root-resourcemanager-lcx.out.1
如何查看权限?

关闭

推荐上一条 /2 下一条