麻烦大家帮我看一个这个Combiner错在哪里？

package test;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class test {
  
  public static class findMaxMinMapper
       extends Mapper<Object, Text, Text, IntWritable>{
    
    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      
      context.write(new Text("flag"), new IntWritable(1));

    }

  }
  
  public static class findMaxMinCombiner
          extends Reducer<Text,IntWritable,Text,Text> {
        
                public void reduce(Text key, Iterable<IntWritable> values,
                                  Context context
                                  ) throws IOException, InterruptedException {
                  context.write(new Text(key), new Text(""));
                }
        }
  
  public static class findMaxMinReducer
       extends Reducer<Text,Text,Text,Text> {

    public void reduce(Text key, Iterable<Text> values,
                       Context context
                       ) throws IOException, InterruptedException {
       context.write(new Text(key), new Text(""));
    }
  }
  
  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "findMinMax");
    job.setJarByClass(test.class);
    job.setMapperClass(findMaxMinMapper.class);
    job.setCombinerClass(findMaxMinCombiner.class);
    job.setReducerClass(findMaxMinReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(Text.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    if(!job.waitForCompletion(true))
            System.exit(1);
    
  }
}
复制代码

输出的目录为空目录，麻烦大神帮忙看看是错在哪个地方？

如果把上面的map和combiner中的IntWritble改成Text类型，则输出目录就不会为空。这是什么原因？

Hedera 发表于 2015-3-4 21:02
如果把上面的map和combiner中的IntWritble改成Text类型，则输出目录就不会为空。这是什么原因？

只看到context
函数的参数都是固定的，改成别的，出错的可能性比较大，下面IntWritable可以改成LongWritable，其它的不用该。


在工程下创建一个WordMapper类，该类要继承Mapper< Object, Text, Text, IntWritable>抽象类，并且实现如下方法。

public void  map(Object key, Text value, Context context )

throws IOException, InterruptedException

这个方法是Mapper抽象类的核心方法，它有三个参数。

Object key：每行文件的偏移量。

Text value：每行文件的内容。

Context context：Map端的上下文，与OutputCollector和Reporter的功能类似。

以单词为例：

reduce方法
*  
* KEYIN,     行中出现单词
* VALUEIN,   行中出现单词个数
* KEYOUT,    文件中出现不同单词
* VALUEOUT   文件中出现不同单词总个数
*/  
个数作为context显然不太妥