分享

cygwin运行hadoop实例wordcount出现了问题

下面是我复制的一段代码:
$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output
13/11/23 02:13:44 INFO input.FileInputFormat: Total input paths to process : 1
13/11/23 02:13:45 INFO mapred.JobClient: Running job: job_201311230212_0002
13/11/23 02:13:46 INFO mapred.JobClient:  map 0% reduce 0%
13/11/23 02:13:54 INFO mapred.JobClient: Task Id : attempt_201311230212_0002_m_000002_0, Status : FAILED
java.io.FileNotFoundException: File C:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201311230212_0002/attempt_201311230212_0002_m_000002_0/work/tmp does not exist.
        at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)
        at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
        at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)
        at org.apache.hadoop.mapred.Child.main(Child.java:155)
              
               
                    cygwin
                    hadoop
                    wordcount
               

已有(3)人评论

跳转到指定楼层
atsky123 发表于 2013-12-11 12:50:57

            引用 楼主 zql_cckj 的回复:下面是我复制的一段代码:
$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output
13/11/23 02:13:44 INFO input.FileInputFormat: Total input paths to process : 1
13/11/23 02:13:45 INFO mapred.JobClient: Running job: job_201311230212_0002
13/11/23 02:13:46 INFO mapred.JobClient:  map 0% reduce 0%
13/11/23 02:13:54 INFO mapred.JobClient: Task Id : attempt_201311230212_0002_m_000002_0, Status : FAILED
java.io.FileNotFoundException: File C:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201311230212_0002/attempt_201311230212_0002_m_000002_0/work/tmp does not exist.
        at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)
        at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
        at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)
        at org.apache.hadoop.mapred.Child.main(Child.java:155)

你用hdfs上的文件系统目录试下呢
        
回复

使用道具 举报

u010990793 发表于 2013-12-11 12:51:31

            attempt_201311230212_0002_m_000002_0
在cygwin下是一个 symlink
windows下认为它只是一个文件
本来要在这个下面创建文件夹的
所以JDK认为无法在这个文件下面创建文件
故报错....
参考:
http://lucene.472066.n3.nabble.com/In-cygwin-hadoop-throws-exception-when-running-wordcount-td3863923.html
才老实说,我也遇到这个问题,还没解决呢.
楼主解决了通报一下方法啊.
        
回复

使用道具 举报

easthome001 发表于 2013-12-11 12:52:24

            需要在“mapred-site.xml”配置文件中配置“mapred.child.tmp”属性

mapred.child.tmp   
/hadoop/childtmp
其中/hadoop/childtmp是你hadoop安装程序下的目录
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条