david@s0:~/Downloads$ hadoop jar HadoopDemo2.jar /user/it18zhang/ncdc_data/19*.gz /user/it18zhang/out 17/04/13 20:14:34 ...

1601365 2017-4-13 10 9148

我的目的是想先从文件中读取数据经mapreduce处理后再将结果数据导入到数据库中。但是提示好像数据类型出错。 代码如下：[mw_shl ...

草莓的橘子樹 2017-3-24 6 11208

最近拜读了一篇文章，上面描述了MR任务执行的顺序，有一点依依，大家帮忙看看： 原来的顺序是： Input ---pattition ----spill ...

Wyy_Ck 2017-3-22 6 7143

代码 package wordcount; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop ...

丹青穆怀 2017-3-14 34 20243

hadoop jar ./HadoopTest01.jar cn.dataguru.hadoop.BaseStationDataPreprocess /user/hadoop/file/input /user/hadoop/file/out ...

丹青穆怀 2017-3-9 16 12292

这三列数据中，第一列数据比如说是客户，第二列的数据都是不相同的，比如说是商品，现在的需求是，怎么通过比较第三列数据（商品 ...

jack12138 2016-11-28 3 9021

大家好，现在有一个问题，想请教一下各位。 一天有10亿的数据量，其中包括产品线、国家、省市、平台、渠道、起始日期，结束日期 ...

leegh1992 2016-7-23 11 15304

请教下 MR中分块和分片有啥区别呢 看了很多 但是还是很模糊 求解答

Wyy_Ck 2017-3-14 5 7834

运行一个MR任务时，发现combile input records比map input records 多一些，请问这是什么原因

Wyy_Ck 2017-3-14 2 5922

STARTUP_MSG: java = 1.7.0_79 ************************************************************/ 17/03/01 11:22:18 INFO na ...

丹青穆怀 2017-3-1 8 19458

自己总结的mapreduce Shuffle流程图,有不准确的地方希望能够得到大牛的指点，也希望能够对初学者有帮助。

jackqiang2011 2016-6-14 1 7957

Hadoop执行打包好的jar程序报错 执行的代码如下： $ hadoop jar logicTest.jar 异常代码如下： java.lang.IllegalArgumentEx ...

cui4029 2016-6-23 7 7469

我在写我的mapper时候，比如我new 了一个成员变量会出现多线程吗？就像 java的serlet一样 public static class CoreMapper exte ...

cloudcat 2016-8-15 4 10541

RT，我写了一个MR程序，将程序所用到的所有依赖包放到了jar包的lib目录里，但是在运行的时候提示找不到类

dsf66zcq 2016-12-16 4 10386

hdfs 能显示正确 但是提示这个错误 是什么啊 怎么解决

Bryce小浪 2017-2-15 2 4331

17/02/08 19:34:18 INFO mapreduce.Job: map 0% reduce 0% 17/02/08 19:45:52 INFO mapreduce.Job: map 1% reduce 0% 17/02/ ...

shingo 2017-2-9 5 17460

MapReduce的结果如何可以导入到habse吗 我现在mapreduce后 生成一个统计结果，请问有设么命令吗 可以导入到hbase呢

Wyy_Ck 2017-1-17 2 4700

跪求，在线等MR从hbase读取数据，splits共114个，当job用114执行时，有的JOB跑后，貌似从未完成的JOB进行分裂出Rack-local map t ...

evababy 2017-1-20 4 8951

https://github.com/jonenine/HST 虽然大数据的发展已经将近10个年头了，hadoop技术仍然没有过时，特别是一些低成本，入门级的 ...

jonenine1976 2017-1-29 0 6626

http://master:8088 查看mapreduce任务。界面Logs 下面是N/A， 请问这个日志路径如何配置呢？ O(∩_∩)O谢谢

Wyy_Ck 2017-1-18 1 4732

eclipse如何配置？求大神指导。 目前出现的问题：JOB提交了但是执行失败 日志： Application application_1425636478973_0021 ...

猪猪 2015-3-24 14 86290

[hadoop@namenode SeqFileText]$ java SeqMain 17/01/09 16:06:29 WARN util.NativeCodeLoader: Unable to load native-hadoop ...

dsy198816 2017-1-9 2 5342

因为是多个map,reduce 并行，我只想输出10条结果。

dsy198816 2016-12-29 9 7805

背景需求： 有两张表，暂且定义为t1和t2 t1中有一个字段 client_ip（我们暂且只关注这一个），string类型， 形式为192.168 ...

tonydu 2016-12-29 7 8535

在map里调用的，val是我自定义的一个类，这样运行就会报错，听网上说要实现一个，comparable类？ 具体该如何实现呢？ context. ...

dsy198816 2016-12-28 2 5425

我本地搭建了一个eclipse +ｈａｄｏｏｐ环境：报错如下： [mw_shl_code=shell,true]og4j:WARN See http://logging.apache.org/l ...

Wyy_Ck 2016-12-22 1 4727

我在myrecordreader里 的initinitialize 里把一些日志写入本地文件，打开本地文件发现竟然输出了两次，这是为什么？ 这个函数map ...

dsy198816 2016-12-21 5 6888

16/12/21 15:44:17 INFO mapreduce.JobSubmitter: number of splits:2 这条消息是说数据被分成了多少分片对吧？但是我返回分不 ...

dsy198816 2016-12-21 3 6941

我想使用MR连接mysql读取数据，但是不想每个节点都添加lib包，我就使用缓存，但是更本就没有缓存下来? 代码如下 异常是，找 ...

Joker 2015-1-7 22 59799