hadoop0.20添加lzo压缩后不能执行mr

java.lang.Throwable: Child Error
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:250)
Caused by: java.lang.ArrayIndexOutOfBoundsException: 1
        at org.apache.hadoop.mapred.TaskRunner.getVMEnvironment(TaskRunner.java:617)
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:222)

java.lang.Throwable: Child Error
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:250)
Caused by: java.lang.ArrayIndexOutOfBoundsException: 1
        at org.apache.hadoop.mapred.TaskRunner.getVMEnvironment(TaskRunner.java:617)
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:222)

15/05/08 15:35:30 WARN mapred.JobClient: Error reading task outputhttp://xxx:50060/tasklog?plaintext=true&attemptid=attempt_201505081524_0003_m_000003_2&filter=stdout
15/05/08 15:35:30 WARN mapred.JobClient: Error reading task outputhttp://xxx:50060/tasklog?plaintext=true&attemptid=attempt_201505081524_0003_m_000003_2&filter=stderr
15/05/08 15:35:30 INFO mapred.JobClient: Task Id : attempt_201505081524_0003_m_000008_2, Status : FAILED
java.lang.Throwable: Child Error
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:250)
Caused by: java.lang.ArrayIndexOutOfBoundsException: 1
        at org.apache.hadoop.mapred.TaskRunner.getVMEnvironment(TaskRunner.java:617)
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:222)

java.lang.Throwable: Child Error
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:250)
Caused by: java.lang.ArrayIndexOutOfBoundsException: 1
        at org.apache.hadoop.mapred.TaskRunner.getVMEnvironment(TaskRunner.java:617)
        at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:222)

hostname、/etc/hosts、/etc/sysconfig/network中的hostname都是一样的名称，求大仙指点！！！

应该是数组越界之类的问题。楼主仔细检查代码

desehawk 发表于 2015-5-8 16:04
应该是数组越界之类的问题。楼主仔细检查代码

hadoop jar /home/hadoopcdh3u5/syslog/hadoop-lzo-0.4.17-SNAPSHOT.jar com.hadoop.compression.lzo.DistributedLzoIndexer /tmp
执行的这样的命令。。。

desehawk 发表于 2015-5-8 16:04
应该是数组越界之类的问题。楼主仔细检查代码

15/05/08 16:17:07 INFO lzo.DistributedLzoIndexer: Adding LZO file hdfs://xxx:8020/tmp/log0.lzo to indexing list (no index currently exists)
15/05/08 16:17:07 INFO lzo.DistributedLzoIndexer: Adding LZO file hdfs://zzz:8020/tmp/log1.lzo to indexing list (no index currently exists)

前面还有这个报错。。。。

zhzhang 发表于 2015-5-8 16:19
15/05/08 16:17:07 INFO lzo.DistributedLzoIndexer: Adding LZO file hdfs://xxx:8020/tmp/log0.lzo to  ...

几台机器，是否所有的都配置了

Alkaloid0515 发表于 2015-5-8 16:27
几台机器，是否所有的都配置了

四台机器，都配置了呢

zhzhang 发表于 2015-5-8 16:33
四台机器，都配置了呢

这个原因很多，可能是源码的问题。下面列出可能的原因：
1.源码：
错误源码
[mw_shl_code=java,true]        int result = job.waitForCompletion(true) ? 0 : 1;
        System.out.println(new String[] { outputPath });
        DistributedLzoIndexer.main(new String[] { outputPath });
        System.exit(result);
        return 0;[/mw_shl_code]

正确源码
[mw_shl_code=java,true]int result = job.waitForCompletion(true) ? 0 : 1;
DistributedLzoIndexer lzoIndexer = new DistributedLzoIndexer();
Configuration indexConf = new Configuration();
indexConf.set("io.compression.codecs","com.hadoop.compression.lzo.LzopCodec");
lzoIndexer.setConf(indexConf);
lzoIndexer.run(new String[] { outputPath });
System.exit(result);
return 0;[/mw_shl_code]



2.是否设置

（1）配置文件中修改configuration中有没有io.compression.codecs这个参数
（2）源码修改
程序中添加如下内容试试
[mw_shl_code=xml,true]conf.set("io.compression.codecs", "org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,com.hadoop.compression.lzo.LzopCodec");  
conf.set("io.compression.codec.lzo.class", "com.hadoop.compression.lzo.LzoCodec"); [/mw_shl_code]


上面只是列出可能原因，楼主可以排查下，希望有所帮助

还是配置的问题，搞好了！多谢各位大仙