又见小山水 发表于 2018-11-22 15:15:10

MapReduce里面自定义的InputFormat重写isSplitable()

isSplitable()方法是干啥的 FileInputFormat 里面isSplitable() 默认返回的true但是他的子类诸如TextInputFormatCombineFileInputFormatKeyValueTextInputFormat 都重写了isSplitable() 方法他这一步到底在干啥????????????????????????????????
具体如下:
final CompressionCodec codec =
      new CompressionCodecFactory(context.getConfiguration()).getCodec(file);
    if (null == codec) {
      return true;
    }
    return codec instanceof SplittableCompressionCodec;

s060403072 发表于 2018-11-22 20:06:34

FileInputFormat用isSplitable方法来指定对应的文件是否支持数据的切分,默认情况下都是支持的,也就是true
页: [1]
查看完整版本: MapReduce里面自定义的InputFormat重写isSplitable()