专题 › MapReduce › 求mr读取parquet的例子

louiscool2 发表于 2015-11-23 10:04:00

求mr读取parquet的例子

按照
http://blog.cloudera.com/blog/2014/03/how-to-use-parquet-with-impala-hive-pig-mapreduce/   里的例子貌似有问题，出来的是所有的的key:value数据。
比如有parquet源表里有字段a和b，这个例子最后出来的是
a:1
b:2
如果
   public void map(LongWritable key, Group value, Context context) throws IOException, InterruptedException {
          NullWritable outKey = NullWritable.get();
          String outputRecord = "";
          // Get the schema and field values of the record
          String inputRecord = value.toString();
          // Process the value, create an output record
          // ...
          context.write(outKey, new Text(outputRecord));
      }

s060403072 发表于 2015-11-23 12:45:05

这个比较复杂些。里面跟咱们普通的不太一样，可能因为其它包了，楼主认为应该怎么输出

bioger_hit 发表于 2015-11-23 15:54:56

这样应该没问题，应该是组合group

louiscool2 发表于 2015-11-25 20:21:17

我想得到的数据不是
"a:1
b:2"
而是1,2

heierya 发表于 2017-6-16 18:21:54

楼主会读了么？求教。
最近项目要用到

查看完整版本: 求mr读取parquet的例子