分享

WIN7+CYGWIN+Hadoop运行wordcount失败

english_fans 发表于 2013-10-16 13:38:41 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 11 10125
win7系统已经成功安装cygwin
并且也成功安装ssh,实现无密码SSH方式登录
hadoop使用ps aux 可以查看5个JAVA进程,应该也是安装成功的
但是运行wordcount提示,无法加载本地库,但是官方说hadoop本地库不支持cygwin,这下就废囖,谁给帮帮忙?
$ hadoop jar hadoop-examples-1.0.4.jar wordcount input/1 output/1
13/03/29 17:01:24 INFO input.FileInputFormat: Total input paths to process : 1
13/03/29 17:01:24 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
13/03/29 17:01:24 WARN snappy.LoadSnappy: Snappy native library not loaded
13/03/29 17:01:24 INFO mapred.JobClient: Running job: job_201303291655_0001
13/03/29 17:01:25 INFO mapred.JobClient:  map 0% reduce 0%
13/03/29 17:01:31 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000002_0, Status : FAILED
java.lang.Throwable: Child Error
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of -1.
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)
13/03/29 17:01:31 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000002_0&filter=stdout
13/03/29 17:01:31 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000002_0&filter=stderr
13/03/29 17:01:37 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000002_1, Status : FAILED
java.lang.Throwable: Child Error
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of -1.
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)
13/03/29 17:01:37 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000002_1&filter=stdout
13/03/29 17:01:37 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000002_1&filter=stderr
13/03/29 17:01:43 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000002_2, Status : FAILED
java.lang.Throwable: Child Error
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of -1.
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)
13/03/29 17:01:43 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000002_2&filter=stdout
13/03/29 17:01:44 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000002_2&filter=stderr
13/03/29 17:01:56 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000001_0, Status : FAILED
java.lang.Throwable: Child Error
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of -1.
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)
13/03/29 17:01:56 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000001_0&filter=stdout
13/03/29 17:01:56 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000001_0&filter=stderr
13/03/29 17:02:02 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000001_1, Status : FAILED
java.lang.Throwable: Child Error
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of -1.
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)
13/03/29 17:02:02 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000001_1&filter=stdout
13/03/29 17:02:02 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000001_1&filter=stderr
13/03/29 17:02:08 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000001_2, Status : FAILED
java.lang.Throwable: Child Error
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)
Caused by: java.io.IOException: Task process exit with nonzero status of -1.
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:258)
13/03/29 17:02:08 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000001_2&filter=stdout
13/03/29 17:02:08 WARN mapred.JobClient: Error reading task outputhttp://CTU2-5MBD43X.vancloa.cn:50060/tasklog?plaintext=true&attemptid=attempt_201303291655_0001_m_000001_2&filter=stderr
13/03/29 17:02:13 INFO mapred.JobClient: Job complete: job_201303291655_0001
13/03/29 17:02:13 INFO mapred.JobClient: Counters: 4
13/03/29 17:02:13 INFO mapred.JobClient:   Job Counters
13/03/29 17:02:13 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=24436
13/03/29 17:02:13 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
13/03/29 17:02:13 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
13/03/29 17:02:13 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0
              
               
                    hadoop
               

已有(11)人评论

跳转到指定楼层
tntzbzc 发表于 2013-10-16 13:40:28

            首先,程序出错和LZ贴出来的红字日志无关
致命错误发生是~~
13/03/29 17:01:31 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000002_0, Status : FAILED java.lang.Throwable: Child Error
这句话
先要了解Child Error是啥意思
所有用hadoop jar跑起来的JAVA程序都会在JDK框架下启动一个进程Child
用JPS可以看到
Child Error大多都是权限问题所致
1、启动JAVA进程时,JDK_HOME/JRE/LIB引用出现权限问题
2、Map读取HDFS的INPUT文件时出现权限问题
3、Map写本地磁盘缓存出现权限问题
不同的问题需根据不同LOG判断,LZ把LOG都贴出来看下吧
        
回复

使用道具 举报

english_fans 发表于 2013-10-16 13:41:07

            引用 2 楼 tntzbzc 的回复:首先,程序出错和LZ贴出来的红字日志无关
致命错误发生是~~
13/03/29 17:01:31 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000002_0, Status : FAILED java.lang.Throwable: Child Error
这句话
先要了解Ch……

3Q,目前我不适用cygwin模拟了,太麻烦,现在win7可以直接远程linux的hadoop进行debug
有时间给本机装个虚拟机
        
回复

使用道具 举报

WOSHITANGWENLE 发表于 2013-10-16 13:41:39

            楼主,你那个问题解决了麽?我现在也是遇到这样的问题,都快把我逼疯啦!
        
回复

使用道具 举报

virgo777 发表于 2013-10-16 13:42:19

            我没遇到,好像是权限问题
你的SSHD启动了么?
打PS看看有几个进程?
        
回复

使用道具 举报

tianchengwei09 发表于 2013-10-16 13:43:05

            楼主你这问题解决没
        
回复

使用道具 举报

english_fans 发表于 2013-10-16 13:43:47

            引用 6 楼 tianchengwei09 的回复:楼主你这问题解决没
我用wnmare使用虚拟机来部署hadoop了CYGWIN有点坑爹~
        
回复

使用道具 举报

developerinit 发表于 2013-10-16 13:44:28

            lz你问题解决了吗?我也遇到了,2周了。。。
        
回复

使用道具 举报

fun913510024 发表于 2013-10-16 13:45:21

            
引用 2 楼 tntzbzc 的回复:首先,程序出错和LZ贴出来的红字日志无关
致命错误发生是~~
13/03/29 17:01:31 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000002_0, Status : FAILED java.lang.Throwable: Child Error
这句话
先要了解Child Error是啥意思
所有用hadoop jar跑起来的JAVA程序都会在JDK框架下启动一个进程Child
用JPS可以看到
Child Error大多都是权限问题所致
1、启动JAVA进程时,JDK_HOME/JRE/LIB引用出现权限问题
2、Map读取HDFS的INPUT文件时出现权限问题
3、Map写本地磁盘缓存出现权限问题
不同的问题需根据不同LOG判断,LZ把LOG都贴出来看下吧

13/05/30 00:24:10 INFO mapred.JobClient:  map 0% reduce 0%
13/05/30 00:24:14 INFO mapred.JobClient: Task Id : attempt_201305300023_0001_m_000003_0, Status : FAILED
Error initializing attempt_201305300023_0001_m_000003_0:
ENOENT: No such file or directory
        at org.apache.hadoop.io.nativeio.NativeIO.chmod(Native Method)
        at org.apache.hadoop.fs.FileUtil.execSetPermission(FileUtil.java:699)
        at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:654)
请问一下这个是什么原因?
        
回复

使用道具 举报

tntzbzc 发表于 2013-10-16 13:46:10

            引用 9 楼 fun913510024 的回复:Quote: 引用 2 楼 tntzbzc 的回复:
首先,程序出错和LZ贴出来的红字日志无关
致命错误发生是~~
13/03/29 17:01:31 INFO mapred.JobClient: Task Id : attempt_201303291655_0001_m_000002_0, Status : FAILED java.lang.Throwable: Child Error
这句话
先要了解Child Error是啥意思
所有用hadoop jar跑起来的JAVA程序都会在JDK框架下启动一个进程Child
用JPS可以看到
Child Error大多都是权限问题所致
1、启动JAVA进程时,JDK_HOME/JRE/LIB引用出现权限问题
2、Map读取HDFS的INPUT文件时出现权限问题
3、Map写本地磁盘缓存出现权限问题
不同的问题需根据不同LOG判断,LZ把LOG都贴出来看下吧

13/05/30 00:24:10 INFO mapred.JobClient:  map 0% reduce 0%
13/05/30 00:24:14 INFO mapred.JobClient: Task Id : attempt_201305300023_0001_m_000003_0, Status : FAILED
Error initializing attempt_201305300023_0001_m_000003_0:
ENOENT: No such file or directory
        at org.apache.hadoop.io.nativeio.NativeIO.chmod(Native Method)
        at org.apache.hadoop.fs.FileUtil.execSetPermission(FileUtil.java:699)
        at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:654)
请问一下这个是什么原因?

No such file or directory
你的TASK TRACKER节点没有找到INPUT数据源
        
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条