MapReduce 如何一次统计多个指标
有一海量大文件，格式每行一条记录，每条记录用”tab键”分隔，字段分别为 用户id、用户位置、访问URL。请写一个Map/Reduce程序，输出用户最多的10个位置，访问最多的100个URL，记录最多的1000个用户id。本人新手，请问能在一次MapReduce 中统计出来这几个指标吗？换句话说，MR能一次统计多个指标吗？ 求思路。试试Hive，Hive实现可能更好点，但是如果非要使用MapReduce的话，可能使用多个Mapper和Reducer来处理 NIITYZU 发表于 2016-5-24 11:06
试试Hive，Hive实现可能更好点，但是如果非要使用MapReduce的话，可能使用多个Mapper和Reducer来处理
谢谢，一会试试。 另外，在一个Map中能不能实现呢？
shanquan2006 发表于 2016-5-24 11:11
谢谢，一会试试。 另外，在一个Map中能不能实现呢？
估计不行，你可以试试，以前我只做过统计一个指标，需要一个Mapper和两个Reducr任务才完成的。
本帖最后由 einhep 于 2016-5-24 13:35 编辑
直接统计的话可能会费劲。可以通过排序。
第一次排序
第二次排序
楼主的思路是什么
einhep 发表于 2016-5-24 13:32
直接统计的话可能会费劲。可以通过排序。
第一次排序
第二次排序
没有想到很好的思路
楼主后面是用什么方法来实现这个功能的?
页:
[1]