MapReduce作业的运行过程如图6-1所示。包含4个独立的实体：（1）Client:提交MapReduce作业，（2）JobTracker：协调作业的运行。 ...

chuyuan_zhou 2014-12-8 0 8486

如题，正在学习hadoop是学习的appache社区版的，看到很多资料都推荐cloudrea的cdh版本。我看那个安装条件要求好高，至少10G内存 ...

yyk1017 2014-12-7 2 28863

请问一下，在一个reduce中想把数据输出到两个文件中，怎么办？

rsgg03 2013-11-13 2 7863

public class WordCountTx { public static class MapClass extends MapReduceBase implements Mapper { priva ...

有妳很满促 2013-12-16 11 11442

我的一个作业大小事30M，在单机上面跑的时间和在集群上面跑的时间差不多， 这边Node下面只有一个节点，是不是意味着这个作业 ...

nickpro 2014-12-6 1 10287

需要统计的是：按城市统计visitIp出现的个数（需要IP去重），即每个城市每天的UV（用户访问数）。 程序比较简单，大概如下 ...

wjhdtx 2014-12-5 4 11645

我有一个chainmapper和chainreducer的例子（网上搜来）， 两个mapper和一个reducer，通过下面链接 MaxMapper: public void ...

kanwei163 2014-12-5 4 11543

这段程序中默认的HashPartitioner在哪里啊？小白求教！

longke173 2014-12-1 1 10019

本人使用的是hadoop1.2.1有个疑问： 如果配置了checkpoint是否在第一次启动namenode时secondaryNameNode也同时创建备份了meteda ...

yyk1017 2014-11-29 1 9835

fsimage与edits合并为新的fsimage后，文件block块查找时是怎么样的一个查找顺序？fsimage与edits合并为新的fsimage后，文件block ...

yyk1017 2014-11-29 2 10254

自己写的时候Reduce总是不会被执行，不知道哪里有问题? 大家帮忙看下

Joker 2014-10-19 5 24331

在编程篇中看到排序的时候，代码如下 假设我加入了//job.setCombinerClass(Reduce.class);那么就达不到想要的效果，而且数据 ...

Joker 2014-10-20 4 12968

代码中通过job.setNumReduceTasks(19);在eclipse中执行结果： 在打包成.jar在命令行上执行：

Riordon 2014-10-23 12 17307

说下需求，日志格式如下：需要统计的结果是：按城市统计visitIp和loginIp出现的个数（都需要IP去重），即每个城市每天的UV（用户 ...

wjhdtx 2014-11-24 13 26192

小弟在公司担任hadoop大数据项目的维护，与重构（其实是公司目前还用不到hadoop数据分析的项目，不知道当初前人怎么把这个项目立 ...

mjjian0 2014-10-30 5 7739

执行example包里的SecondarySort，发现结果正常，也就是说，hadoop框架是没问题的，出问题的是我的程序，下面详细说明程序出现的 ...

yameing 2014-11-20 7 24965

在我们写MR程序时候，会创建一个Job，然后程序会通过客户端发送到服务端去执行， 那么，就会产生一个ApplicationMaster这样一个 ...

Joker 2014-11-20 3 13648

1、在JobQueueTaskScheduler的assignTasks(）方法中，用来分配Map任务的obtainNewNodeOrRackLocalMapTask()方法和obtainNewNonLo ...

gwgyk 2014-11-3 11 10058

一、背景 早在8月份的时候，我就做了一些MR的Join查询，但是发现回北京之后，2个月不用，居然有点生疏，所以今天早上又花时间好 ...

pig2 2013-12-16 3 8121

请问我下面这个路径是怎么来的

zxwu 2014-10-30 6 9302

我公司有个数据分析的项目是用 flume--》hdfs--》hive---》mysql，数据是这样流转的。我现在想试着用:flume-->hdfs--- 写mr程序 ...

mjjian0 2014-10-30 12 13718

我在linux bash环境下编译一个利用java API来读取hdfs文件系统里面的文件的时候，需要用（1）这里面那个.jar文件，我的理解是定 ...

cqlouis 2014-10-29 6 8625

map函数执行最后有类似 context.write(new Text(word), new LongWritable(1));结果是对，而到了reduce函数，它接受的第二参数是I ...

Riordon 2014-10-17 2 9993

centos下运行自带的wordcount,处理时间超级长，最后报了连接超时的错误。

轩辕依梦Q 2014-10-11 6 13894

默认的TextInputFormat是按行输入，key为每行的起始偏移量，value为行的内容。这里实现key为行号，而不是偏移量。 0.环境 ...

cknote 2014-9-30 1 9913

还原数据时是MR框架主动实现，还是需要程序员找到备份的数据手工还原？当设置了这个参数后，怎么知道数据已经有备份？

chenhaoyes 2014-8-28 2 11015

编写的mr程序能够正常运行了，但都是通过 hadoop命令执行，或者在Eclipse执行，真正作为应用时，应该不是按照这种方式来执行程序 ...

chenhaoyes 2014-8-20 5 19680

感觉在Eclipse调试执行MapReduce程序时，只在参数设置时用到Linux服务器上的HDFS文件系统下的input，output目录，跟Linux系统上 ...

chenhaoyes 2014-8-20 2 6500