最近刚学习一下hadoop,然后动态生成class加入classpath,用方法 addfiletoclasspath,就想看一下job.xml,job.jar里面的内容，首先 ...

Mr.k 2016-12-9 1 5547

第一个问题 15/11/17 17:48:21 INFO mapreduce.Job: Job job_1447748706370_0002 running in uber mode : false 第二个问题 C ...

lanxueren121 2015-11-17 4 18088

本人hadoop新手，想在mapreduce程序里的inputformat类中的几个函数打印出调试输出，以学习Inputformat类的编写， map,reduce的终 ...

dsy198816 2016-12-5 13 10069

一、分布式集群中配置2个slave主机。nodemanager节点配置内存为2G，CPU核数为1。 二、yarn-site.xml配置如下： ...

jackielee 2016-12-5 2 10259

场景：分析web日志（最小的日志有25G），根据ip查找对应地区。我的步骤是 1 在map setup 方法，创建ip字典，通过二分法查找对应 ...

cloudcat 2016-12-3 1 8656

请问各位大神 hadoop中如何将编译好的class分发到集群中的一台机器去执行，没有mapreduce,class可以吗？ 比方说我自己代码中动 ...

Mr.k 2016-11-28 7 7990

如题：在mapreduce执行过程中，想在调度器中获取每个节点（TaskTracker）map输出数据量的大小，不知道哪个函数或者接口可以，查 ...

fyz 2016-11-29 5 11558

如题： 为何Reduce端的value值要使用Iterator，遍历key所对应的所有值，也可以用其他方法来遍历吧。 大神，老司机们求教一下

haisongen 2016-11-23 6 7946

知识贵在总结和积累，发帖子用来记录自己的心得体会，也可以与大家共享，一起探讨，一起学习！ 首先，需求 ...

问津少年 2015-3-19 6 58586

问题导读： 1.什么是Jaql?2.什么是Tika？3.怎样创建并使用Jaql模块？ 本文将介绍如何使用 IBM InfoSphere BigInsig ...

fc013 2016-11-13 3 12196

想问大家一个问题，在使用 MapReduce 做单词统计的时候，如何读取 非文本文档类型文件呢？ 我想读取 .doc，.docx，.pdf 类型 ...

Kevin517 2016-11-12 4 7351

虽然map任务失败，自动尝试之后成功了，但是对于失败的原因还是想知道下，有了解的么，log如下。 AttemptID:attempt_1469436806 ...

kanwei163 2016-11-11 1 12181

哪位能不能给详细讲讲： mapperreducer程序中能不能直接用主类的静态变量值，还是用Context传递值，这有什么区别？ 比方说Main ...

Mr.k 2016-11-10 1 7931

问题说明：在 MapReduce 中使用 IK 分词器，对中文分词统计，统计结果乱码 环境说明： Hadoop 集群：Hadoop 2.7.0，采用完全分 ...

Kevin517 2016-11-7 2 8718

哪位大神帮忙讲解一下使用 Eclipse 提交作业到hadoop集群中。 只知道在 Eclipse 中把 Hadoop 的 xml 配置文件放到项目里面， ...

Kevin517 2016-11-5 5 8275

弄了半天，系统是centos 7，本想执行一个测试下，如下（文件已经上传到/data/input）： hadoop jar /opt/hadoop/hadoop-2.7.0/ ...

Wyy_Ck 2016-10-31 16 23643

本人小硕一枚，导师定的毕业课题是MapReduce下的图像并行化处理，毫无思路，我想知道这个课题延伸的话需要做哪些相关的研究，主 ...

kafcat 2016-10-24 2 6981

现在hive表绝大部分是textfile的表，请问有什么好的思路将原先的textfile表转化成orc格式的表了？用mr如何实现？先谢谢各位老大 ...

cxzdy 2016-9-23 1 13178

本帖最后由 PeersLee 于 2016-9-7 14:04 编辑 问题导读： 1.什么是贝叶斯分类？ 2.JobControl的设计原理是什么？ 3.Job类是 ...

PeersLee 2016-9-7 0 8912

通过利用jobcontrol，运行两个job，但是其中一个job失败了。用jobcontrol后，控制台中没有显示具体失败原因和counters状态，怎么 ...

涵涵 2016-8-29 5 8868

一个非常简单的程序，指定一条样本数据，从文件中读取样本数据进mapper,求指定的样本与每一条split样本的距离，在reducer中规约 ...

斯巴达之狐 2016-9-1 7 9277

Logging initialized using configuration in jar:file:/home/hadoop/hive-1.0.1/lib/hive-common-1.0.1.jar!/hive-log4j.proper ...

zk0521 2015-7-26 1 40314

Diagnostics: Exception from container-launch. Container id: container_1460949185296_0009_02_000001 Exit code: 1 Stack ...

pashuidexin 2016-4-18 2 7020

大神好，我在编写mapreduce的时候，想输出一个key对应多个字符串的集合，这个mapreduce只能输出key对应多个数字类型的集合，请问 ...

cui4029 2016-6-24 4 6172

在集群中运行mapreduce程序： hadoop jar wordcountcb.jar hdfs://ns1/data/word.txt hdfs://ns1/out97 报错：16/06/2403:18 ...

xw2016 2016-7-6 3 11285

HDFS上存储的是GBK编码的文件，mapreduce可以使用gbk编码读取文件吗？ TextInputFormat里面有修改读取文件时修改编码的地方吗？ ...

jinxiaoxin 2016-6-30 7 15319

编写一个算法，使用MapReduce编程模型实现，如果说单机伪分布式运行的话，思想很简单，用Map读入数据，然后Reduce执行多矩阵计算 ...

王明禹 2016-7-3 4 6724

报错如下： 16/06/13 21:14:52 INFO mapred.JobClient: Task Id : attempt_201606132106_0002_m_000000_1, Status : FAILED ja ...

IT_雪夜归人 2016-6-13 4 9435

图解

jackqiang2011 2016-6-14 4 8123