我有一个txt文件如下： 11 31 22 87 34 21 现在，我想用MapReduce来将txt中的数学全部变成0-1之间，我的做法如下： ...

Hedera 2015-1-29 8 20592

本帖最后由 arsenduan 于 2015-11-28 20:14 编辑 首先，如果需要打印日志，不需要用log4j这些东西，直接用System.out.println ...

arsenduan 2015-11-28 1 11902

本帖最后由 helianthus 于 2015-12-17 23:42 编辑 问题导读： 1.tez DAG是怎么创建的？ 2.Tez DAG中如何确定数据流向？ ...

helianthus 2015-12-14 1 10403

问题导读： 1.Apache tez是什么？ 2.Apache tez应用场景有哪些？ 3.比起mapreduce，Apache tez的优势在哪里？ 1. ma ...

helianthus 2015-12-13 0 11250

问题1：setOutputFormatClass、setMapOutputKeyClass、setMapOutputValueClass这三个API的区别是什么，分别的作用是什么，并且是 ...

Timmy 2015-12-7 1 7085

大神们，教授让我把wordcount改写成相同句子计数···大神们能给我点儿思路吗···毫无头绪···

lanxueren121 2015-12-4 2 6192

[mw_shl_code=applescript,true]package cn.edu.ruc.cloudcomputing.book.chapter05; import java.io.IOException; import ...

hery 2015-11-18 5 10200

Exception in thread "main" java.io.FileNotFoundException: Path is not a file: /LinearReg/output 我将FileSystem hdfs=Fil ...

往事也加 2015-11-29 2 10579

14/12/06 10:41:58 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobC ...

hadoop_小象 2014-12-6 5 41907

测试Hadoop过程中，命令行输入hadoop jar /usr/hadoop-0.20.2-cdh3u5/hadoop-examples-0.20.2-cdh3u5.jar wordcount readme.txt ...

王振华 2015-11-11 9 7622

我在电脑上搭的是hadoop2.7.1的伪分布式，副本数设置的是1，但是刚才用网页打开hdfs文件系统，却有一个文件显示Replication为3， ...

徐志强 2015-11-24 2 9428

恩，用的是hadoop0.20.2，jdk版本开始是1.7，后来改成了1.6。 但在系统中运行mapreduce程序时会出现“ Unsupported major.mino ...

ivysaur 2015-11-19 7 10866

各位大神，那个linenum变量是不再所有的reduce中都共享？比如有3个reduce ，这个变量是不在3个reduce中都可以使用？并累加值 ...

hery 2015-11-18 1 8759

第一个就是这个 15/11/17 20:11:27 INFO mapreduce.Job: Job job_1447758629678_0001 running in uber mode : false 不知道错 ...

lanxueren121 2015-11-17 1 17320

问题1:Mapreduce中，使用默认TextInputFormat时，数据是按照每行读取的，这里key是默认key，value是我自定义的Trans对象；我将所 ...

Timmy 2015-11-12 2 12365

当mapreduce在集群中执行完之后，hdfs上显示执行结果的size为0，只有等一个小时之后才能看见大小（经过验证，是整整一个小时）， ...

zhuming 2015-10-31 3 9975

如图，我对map输出进行了压缩，但是报了一个空指针异常，不知道怎么回事

sonofwinds 2015-11-7 2 9519

hadoop2.6.0，在eclipse里面运行wordcount程序，参数设置应该没有问题 hdfs://192.168.1.110:9000/user/hadoop/input hdfs://19 ...

shenqianwen 2015-10-30 5 8986

Exception in thread "main" java.lang.NullPointerException at java.lang.ProcessBuilder.start(Unknown Source) at org.a ...

lyk20042810 2015-8-22 5 11592

上次发了一次，感觉没说清楚，Alkaloid0515给了建议，收获很大，但是还是没找出错在哪，所以再发一次 这有一个reduce join的问 ...

爱动的蜗牛 2015-11-4 3 11435

数据：child parentJone Lucy Tom Lucy Tom Jack Jone Jack Lucy Mary Lucy Ben Jack Alice Jack Jesse Terry Alice ...

爱动的蜗牛 2015-11-2 3 11190

如果我有一个10M的文件，那么执行mr任务时，会有几个map任务数呢，我是默认配置， 说一下我的困惑，网上说的算法splitSize = ma ...

sonofwinds 2015-10-28 2 10697

一直没有发现是什么原因，我怀疑是版本不兼容，大伙儿看我引的mapper包和MapDriver包对吗谢谢各位大牛

sonofwinds 2015-10-12 4 7087

目前用spark生成了parquet 格式文件： 文件元数据A:(id:string,ts String,url String,ref String) 生成的rdd 调用sa ...

scala 2015-9-26 3 21333

Hadoop平台没有提供全局数据排序，而在大规模数据处理中进行数据的全局排序是非常普遍的需求。本文首先实现简单的全局排序， ...

cknote 2014-9-30 3 21363

1.首先这是我的文本文件内容，就三行 2.我想统计里面多少个大写字符，多少个小写字符，就是希望我的reduce输出结果是:大写个 ...

L_刘先生 2015-9-21 1 11359

如何写这个Javaweb项目，需要哪些API，用一个web页面来显示50030端口的各种信息，谢谢

annaljh 2015-9-15 1 9433

说明：这不是我想实现什么目的 而是从技术角度 理解hadoop做了什么 以wordcount为例 ， key为字符。假设有两个reduce。同时假 ...

zcfightings 2015-9-14 3 9040

Berkeley的这篇论文是对Hadoop的改进，利用了管道技术，能够支持Online Aggregation 和 Continuous Queries，这是以前的Hadoop所 ...

ruanhero 2013-10-26 17 14301