如一个Topkey的问题前一个mapreduce记录单词的个数后一个选取前几个进行输出

li84897494 2015-3-11 3 15946

找了一些资料，说mapreduce的collect的时候就是为每个key/value键值对生成对应的分区号，并保存下来。 我的疑问是，假设有这么 ...

pengsuyun 2015-1-29 6 17321

本人在一个教程上看到一个文件类容去重的例子，于是就仿照它写了一个，但是在eclipse上运行时，map到50%就不动了，我是用vm加cen ...

jwb590 2014-12-18 10 20355

环境说明1、在/etc/profile中设置了export YARN_LOG_DIR=/hadoop-data/logs 2、在yarn-daemon.sh中的开头部分echo 变量YARN_LOG ...

pengsuyun 2014-12-23 8 21012

环境说明： 129机：resourcemanager、nodemanager 130机：nodemanager 使用start-yarn.sh启动后，130机连不到resourcemanag ...

pengsuyun 2014-12-24 4 11460

在eclipse中完成mapreduce代码，用run on hadoop 提交到集群，报了如下错误

树叶的狂欢 2015-3-26 17 22116

麻烦问下大家，像下图中MapTask时间的计算，代码在哪部分啊。找了半天没找到 hadoop版本是1.2.1。先谢谢大家了！

gwgyk 2015-3-23 10 20966

求助各位大神啊

wing2464 2015-3-23 4 12809

需求是这样的，每个redude会输入1-2条记录， 如果2条记录相等，输入到一个same文件里面。 如果不相等，输入到一 ...

狒狒 2015-3-21 6 12673

除了在空间里发表过日志之外，我好像还没写过什么东西在网上。但我是一个喜欢做总结的孩子 ...

问津少年 2015-3-17 6 49547

Spark能替代MapReduce吗？原来代码如何过渡,效率一定会提高？

liuyu117_86 2014-5-10 3 22461

我用的是hadoop1.2.1，三台机器（虚拟机）乌班图系统，一个namenode，两个datanode。现在做一个简单的mapreduce。当数据大于5242 ...

masterice 2015-1-26 16 68901

conf.set("hadoop.job.user","hadoop"); 这句无效啊，版本是hadoop2.2.0，执行的时候直接报如下错误 到底怎么弄才能把user设置 ...

seraph50 2015-3-11 5 14548

map combiner reduce map的输出作为combiner的输入， combiner的输出作为reduce的输入 但这样输出的文件夹为空。 如果 ...

Hedera 2015-3-4 7 28236

输出的目录为空目录，麻烦大神帮忙看看是错在哪个地方？

Hedera 2015-3-4 3 8056

大家好： 我结合gdal和hadoop对图像进行处理，gdal包含6个文件，一个是gdal.jar还有5个.so文件。将这5个.so文件放 ...

bingoyin 2015-2-28 5 11901

Hadoop namenode存放的磁盘已经满了,在配置文件加入新的存放地址需要重新格式化吗?

Joker 2015-2-4 1 12517

想请教下，编译IKAnalyzer总是编译不过去我在github下载的源码。 错误信息 是不是在编译前，要先安装Solr？

Joker 2015-2-2 1 14496

我在haadoop/etc/hadoop中配置log4J，但是只是生成了文件,并没有写入数据

Joker 2015-1-29 10 53152

程序也不报错就是执行不了，之前执行了一个其他的程序可以运行 import java.io.IOException; import org.apache.hadoo ...

li84897494 2015-1-26 2 14569

使用stanford segmenter怎么分布式运行。我现在主要的问题是，该框架在加载分词器的时候会自动给你加入当前项目路径，使得我无法 ...

Joker 2015-1-22 2 14937

测试数据 product_no lac_id moment start_time user_id county_id staytime city_id 13429100031 22554 8 2013-03-11 08:55 ...

Joker 2015-1-12 3 13962

这两天要做一个业务。把一天里面的很多数据，写入到一个大文件中，并且自定义一个新的名字，而不是要这种默认的文件名：part-r-0 ...

小小布衣 2014-10-29 4 9032

我想使用Hadoop M/R的DistributedCache类，将一个压缩文件缓存起来。 但是，我想将压缩文件的的文件内容读取，并加载到内存中。 ...

Joker 2015-1-6 7 150704

每次看官方图都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。

yyk1017 2014-11-29 3 8440

请教大家个问题 mapreduce中如何同时读取mysql中一张表和hdfs中的一个日志文件 他们有关联字段id 将DBInputFormat 和 普通的Tex ...

strivecheng 2015-1-3 9 50724

请问，如何调整map slot和reduce slot数目？使得最优？？

jttsai 2014-12-10 5 13731

有没有朋友阅读过hadoop yarn源码,熟悉FIFO,FAIR,Capacity这三种资源调度的?或者是自定义的调度算法.有的话出来共享下经验呗. P ...

qcbb001 2013-10-26 1 5186

因为执行Reduce时发现内存溢出了。 所以想去本地看一下MAP输出的文件有多大。 请问我应该去哪里看？ 或者说哪个配置文件中指定 ...

lixiaoliang7 2014-12-23 1 7361