阅读本文可以带着下面问题： 1.Yarn是什么？ 2.MapReduce是否考虑内存、IO、网络、磁盘等因素？ 3.JobTracker主要的任务是 ...

sstutu 2014-2-25 0 7833

阅读本文可以带着下面问题： 1.解决大数据关联通过那两个类来实现 2.能否通过代码，总结出代码思想 用java写的hadoop程 ...

pig2 2014-2-15 1 7271

阅读本文可以带着下面问题： 1.map /reduce程序卡住的原因是什么？ 2.根据原因，你是否能够想到更好的方法来解决？（企业很看 ...

pig2 2014-2-14 0 46577

第一种场景： 作业的某个任务阻塞了，长时间占用资源不释放，如何处理？ 这种场景通常是由于软件Bug、数据特殊性等原因导致 ...

hyj 2014-2-2 0 7272

1.task tracker存在今天跑job 的时候，发现map 任务很正常地结束，但跑reduce 任务时到20% 几就停滞不前，而且一直卡住没法正常 ...

pig2 2014-1-24 0 42296

一、HDFS+MapReduce搭建 *实验环境： ********************************************************************************* ...

xng2012 2014-1-21 0 11114

Twitter已经开源MapReduce流框架，称为summingbird。它基于Apache 2许可发布。Summingbird是一个大规模数据处理系统，支持开发者 ...

pig2 2014-1-17 0 6437

我们来看一下具体的接口，它们都处于包org.apache.hadoop.mapreduce中。 上面的图中，类可以分为4种。右上角的是从Writ ...

gefieder 2014-1-16 0 7179

一、包mapreduce.lib.input 接下来我们按照MapReduce过程中数据流动的顺序，来分解org.apache.hadoop.mapreduce.lib.*的相关 ...

xng2012 2014-1-16 0 9141

*IDs类和*Context类 我们开始来分析Hadoop MapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象 ...

nettman 2014-1-16 0 10504

Map的结果，会通过partition分发到Reducer上，Reducer做完Reduce操作后，通过OutputFormat，进行输出，下面我们就来分析参与这个 ...

yuwenge 2014-1-16 0 11408

辅助类1： MapTask的辅助类主要针对Mapper的输入和输出。首先我们来看MapTask中用的的Mapper输入，在类图中，这部分位于右上 ...

yuwenge 2014-1-16 0 18433

MapReduce概论 大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的 ...

yuwenge 2014-1-16 0 14684

现在有这样两个文件 a|b a|c|d 通过mapreduce处理成 a|b|c|

nettman 2014-1-13 0 6985

如果你想查询某个表的某一列，Hive默认是会启用MapReduce Job来完成这个任务，如下： 我们都知道，启用MapReduce Job是会消耗系 ...

NEOGX 2014-1-11 0 8966

一MAP-REDUCE调试问题 1.可以在eclipse中单步调试MR的调度代码，比如MAIN和RUN 2.对于MAP-REDUCE的代码调试就比较麻烦，可在MA ...

pig2 2014-1-9 0 7761

最近练习了一下hadoop mapreduce 如何通过configuration传递参数到mapreduce context 上下文中。设置confgiruation连接hbase参数 ...

lzw 2013-12-30 0 20643

本帖最后由 pig2 于 2014-8-21 11:54 编辑 配置执行job shell，shell文件：exec_mr.sh 配置crontab命令，mapreduce job ...

lzw 2013-12-28 0 9871

目标： 安装测试本地单机hadoop。 花费时间：10分钟 前提： java环境已经准备好hadoop有三种运行方式，单机版包括直接本地运 ...

gefieder 2013-12-20 0 10696

下面的例子是统计密码次数，及其密码使用次数排序，其中使用两个mapreduce：

lzw 2013-12-19 0 13386

假如说，现在有一个输入目录 /data/20130101 里面有4个文件 file1 文件大小 880M file2 文件大小 22kb file3 文件大小 17k ...

string2020 2013-12-17 5 12346

经过几天的折腾，终于配置好了Hadoop2.2.0,今天主要来说说怎么在Hadoop2.2.0伪分布式上面运行我们写好的Mapreduce程序。先给出这 ...

pig2 2013-12-16 4 12386

要求是在eclipse下运行的，麻烦有例子的同学能不能动手给发一个

zhangcd123 2013-12-16 1 8062

员工业绩表 create table ods_emp_interest ( i_date integer, --日期，格式为yyyymmdd v_emp_id varchar2(12), --员 ...

string2020 2013-12-14 6 33247

hive如何设置map和reduce 个数的设定？

nettman 2013-12-13 1 20619

附件上是hadoop mapreduce 与mysql的实现，与大家分享一下。

lzw 2013-12-11 0 6246