看这篇文章请出去跑两圈，然后泡一壶茶，边喝茶，边看，看完你就对hadoop整体有所了解了。 Hadoop简介 Hadoop就是一个实现 ...

nettman 2013-11-27 96 282973

刚才发现一张讲解mapreduce整个工作机制图，跟大家分享一下，大家发表一下建议，对mapreduce工作机制有何看法，或者那里有不清楚 ...

lzw 2013-12-1 69 154087

问题导读： 1、如何理解MapTask运行机制？ 2、如何理解Map阶段机制？ 3、如何理解ReduceTask 工作机制？ 4、如何理解MapRedu ...

levycui 2019-11-20 0 4464

本帖最后由 levycui 于 2019-4-16 18:14 编辑 问题导读： 1、什么是MapReduce？ 2、MapReduce1框架的缺陷有哪些？ 3、MapRe ...

levycui 2019-4-16 1 9262

问题导读： 1、什么是MapReduce？ 2、Mapper、Reducer实现什么工作内容？ 3、如何进行MapReduce性能调优？ MapReduce ...

levycui 2016-7-19 7 16785

本帖最后由 pig2 于 2015-10-19 19:54 编辑 问题导读 1.如何在MapReduce规避reduce的使用？ 2.如何减少被洗牌的数据？ 3. ...

丫丫 2015-10-12 4 35538

本帖最后由 pig2 于 2014-3-7 22:07 编辑 本文合适和对mapreduce有一定了解，并且产生各种问题的同学，算是一个解惑篇。如果刚 ...

hyj 2014-3-7 50 164539

本帖最后由 pig2 于 2014-5-1 01:20 编辑 问题导读： 1.我们所定义的map函数与reduce函数是用来干什么的？ 2.key和value分别 ...

pig2 2014-5-1 18 118156

本帖最后由 pig2 于 2014-8-3 22:33 编辑 问题导读： 1.我们所定义的map函数与reduce函数是用来干什么的？ 2.key和value分别 ...

pig2 2014-5-1 12 46651

本帖最后由 nettman 于 2014-7-5 21:32 编辑 问题导读 1.map与reduce中key与value有什么不同？ 2.shuffle的作用是什么？ ...

nettman 2014-3-2 27 126151

1.思想起源： 我们在学习mapreduce，首先我们从思想上来认识。其实任何的奇思妙想，抽象的，好的想法、都来源于我们生活 ...

pig2 2014-3-9 24 92865

本帖最后由 desehawk 于 2015-3-19 11:45 编辑 问题导读 1.reduce join有什么缺点？ 2.map join如何处理大小表join的？ ...

desehawk 2015-3-19 2 39617

问题导读： 思考的内容偏多 1.Map/Reduce为什么分区？ 2.分组的作用是什么？ 做两文件Join工作的.data.txt和info. ...

howtodown 2014-9-29 8 30908

阅读本文可以带着下面问题： 1.map和reduce的数量过多会导致什么情况？ 2.Reduce可以通过什么设置来增加任务个数？ 3.一个tas ...

pig2 2014-2-19 12 157200

问题导读： 1.如何多个路径，mapreduce如何实现？ 2.多种输入，mapreduce如何实现？ 1.多路径输入 1）FileInp ...

hyj 2014-6-30 5 20807

HDFS+MapReduce+Hive十分钟快速入门1. 前言本文的目的是让一个从未接触Hadoop的人，在很短的时间内快速上手，掌握编译、安装 ...

admin 2013-12-20 10 57513

本帖最后由 nettman 于 2014-3-6 00:37 编辑 我们了解mapreduce的作用是什么，我们还可以详细了解下面内容：RecordReader的作 ...

nettman 2014-3-6 20 156357

在Hadoop的reducer类中，有3个主要的函数，分别是：setup，clearup，reduce。代码如下： 在用户的应用程序中调用到red ...

lzw 2013-11-30 25 77181

问题导读： 1.Hadoop对于一个记录行形式的文本，会不会造成一行记录被分到两个Block当中？ 2.在把文件从Block中读取出来进行切 ...

pig2 2014-5-12 9 24833

Cloudedera公司提供的的一项服务是帮助客户优化Hadoop集群上MapReduce 任务。由于MapReduce和HDFS是运行用户自行开发程序的复杂 ...

pig2 2014-1-18 0 12449

问题导读 1.hadoop有哪些内置计数器？ 2.job.getCounters()可以得到什么？ 3.MapReduce是否允许用户自定义计数器？ ...

yuwenge 2015-6-15 4 50580

已经讲了一篇mapreduce编程模型，这里从另外一角度，感觉也不错。引用一个经典的图片来说明问题. 可以带着下面问题来阅读： ma ...

howtodown 2014-3-2 26 81543

本帖最后由 nettman 于 2014-7-9 12:07 编辑 有时候我们在用，但是却不知道为什么。就像苹果砸到我们头上，这或许已经是很自然 ...

sstutu 2014-1-27 38 354052

MapReduce统计结果直接输出hbase，我使用的是hadoop1.0.4版本和hbase 0.94版本，hadoop和hbase安装伪分布式。1.hadoop安装这里就 ...

lzw 2013-12-10 2 37164

问题导读 1.Combiner的作用是什么？ 2.作业级别参数如何调优？ 3.任务及管理员级别有哪些可以调优？ Hadoo ...

hyj 2014-12-10 3 65885

阅读本文可以带着下面问题： 1.你对mapreduce了解多少？ 2.通过排序你是否对mapreduce有新的认识？ ---------------------- ...

pig2 2014-3-3 16 116989

本帖最后由 pig2 于 2014-3-6 21:18 编辑 此篇需要理解了解hadoop的mapreduce作为基础，否则可能半懂不懂，对于 1.hbase MapR ...

pig2 2014-3-6 10 66349

本帖最后由 nettman 于 2014-5-1 12:54 编辑 问题导读 1.不同类型数据被分到同一个分区，是否会影响输出结果？ 2.分区函数该 ...

nettman 2014-5-1 3 18331

本帖最后由 pig2 于 2014-2-20 01:02 编辑 我们可以带着下面问题来阅读： 1.下面是如何利用MapReduce来做压力测试的？ 2.Map ...

pig2 2014-2-20 4 25474

我们可以带着下面问题来阅读为什么需要在Mapper端进行归约处理？为什么可以在Mapper端进行归约处理？既然在Mapper端可以进行归约 ...

sstutu 2014-3-9 11 49793