在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在单点故障（single point of failure），每一个集群中存在一个NameNode，如果 ...

NEOGX 2014-1-12 6 38453

ClusterID 添加了一个新的标识符ClusterID用于标识集群中所有的节点。当格式化一个Namenode，需要提供这个标识符或者自动生成 ...

pig2 2014-2-5 9 43425

环境变量详解 JAVA_HOME 用于指定JDK的主目录 JRE_HOME 用于指定JRE的主目录 CLASSPATH 有什么作用呢？编java程序的时候会 ...

pig2 2014-2-1 6 32889

昨天终于hadoop的项目验收完成了，终于可以松一口气了，总体还是比较满意的。 首先说一下项目流程，用mapreduce对数据进行 ...

lzw 2015-5-27 6 18253

有这么个需求：一个目录下的数据只能由一个map来处理。如果多个map处理了同一个目录下的数据会导致数据错乱。 刚开始google了 ...

yuwenge 2015-5-14 3 31545

1.configuration类简介 Hadoop没有使用java.util.Properties管理配置文件，也没有使用Apache Jakarta Commons Configur ...

lzw 2015-5-17 2 27167

第一部分：目前Hadoop1.0架构的问题 单点故障 •如果NameNode或者JobTraker关掉，那么整个集群瘫痪。 • ...

sstutu 2014-1-27 1 12298

首先要实现mapreduce就要重写两个函数,一个是map 另一个是reduce map(key ,value) map函数有两个参数,一个是key,一个是value ...

bob007 2015-6-9 1 15120

一张关于HDFS的图片，形象生动的解释的HDFS的工作原理，再确切一点是 写操作的的基本过程： 1 一个集群中只有一个NameNode，可 ...

langke93 2015-6-24 1 17850

本文介绍的Hadoop权限管理包括以下几个模块： （1） 用户分组管理。用于按组为单位组织管理，某个用户只能向固定分组中提交作业 ...

pig2 2014-2-4 1 8561

大数据的价值： 1.预测 2.推荐 3.发现规律 4.提高效率 总之：一般来讲，先有数据，而且数据量比较大，然后分析，接着数据 ...

nextuser 2018-3-29 4 7466

在平时 我们在操作hadoop命令的时候 会误删除某些文件 利用 hadoop fs -rmr(目录名)删除目录时易出现误删除的操作 为了防止 ...

desehawk 2018-4-9 1 7329

准备相关版本插件和依赖 1.将依赖放到Hadoop/bin目录下例如我的E:\hadoop-2.6.0\bin 2.将插件hadoop-eclipse-plugin-2.6.0.jar ...

pergrand 2016-7-30 1 7260

对于大数据组件，我们可能知道它的功能是什么，比如Hive可以用来sql查询，Hbase可以用来存储。但是从用途来讲，可能有所混淆，这 ...

pig2 2018-8-22 2 7362

业务背景MapReduce编程模型的线上调试并不方便，它不像本地Java程序那样可以很方便地及时看到输出结果，本文将提供一种比较 ...

Alkaloid0515 2015-5-14 2 16638

不知道该如何解决 开始早晨还好着的 中午回来开机后就不行了 执行下面命令报未找到命令：

desehawk 2014-4-12 2 14532

问题导读：1.如何自定义计数器？2.计数器有多少个？3.计数器分为几种？ 计数器是用来记录job的执行进度和状态的。它的作 ...

sstutu 2014-4-25 1 11575

调度器用是 将系统中空闲的资源按一定策略分配给作业。 也就是调度器是可以管理资源的

pig2 2015-10-19 2 12162

Hadoop内置的数据类型 BooleanWritable:标准布尔型数值 ByteWritable:单字节数值 DoubleWritable:双字节数值 FloatWritable: ...

mituan2008 2015-5-27 0 14247

可以带着下面问题来阅读： 1.hadoop误删数据该如何找回？ 2.在哪个配置文件中可以设置删除数据保留时间？ 3.如何恢复删除数据 ...

nettman 2014-2-24 0 9220

Hadoop扩容是非常简单的事情。具体步骤如下： 1.增加我们的硬件，在终端用如下命令查看，系统device的情况。能够查看到各个 ...

sstutu 2014-1-21 0 9787

hadoop2x-eclipse-plugin 说明： hadoop 2.2.0的eclipse plugin 如何build：options required： eclipse.home: path o ...

nettman 2014-1-21 0 6477

先来看一下Block类，它含 有三个成员：blockId，numBytes和generationStamp。下面介绍一下它们分别得含义： 一、numBytes即bloc ...

pig2 2014-1-20 0 14294

HDFS支持权限控制的设计是基于POSIX模型，支持按用户、用户组、其他用户的读写执行控制权限。在linux命令行下，可以使用下面的命 ...

lzw 2013-12-29 0 7792

我们使用hadoop，经常会遇到将关系型数据库数据导入HDFS、HIVE、PIG、HBASE，Sqoop可以解决由RDBMS跟Hadoop,Hbase,Hive直接的数 ...

lzw 2013-12-23 0 5822

下面这张图是我最近学习hadoop和hbase后对日志收集系统设计的架构图： 在日志收集器将收集到的日志实时发送到scribe客户 ...

lzw 2013-12-22 0 7872

1.配置文件的编辑…… 2.准备ZooKeeper 三台zookeeper 编辑zoo.cfg配置文件 在dataDir目录中创建一个myid文件 3.配置Hadoop ...

xmhxmhxmh 2015-7-24 1 12848

HDFS也有块（Block）的概念，但它的块是一个很大的单元，默认是64MB。像硬盘中的文件系统一样，在HDFS中的文件将会按块大 ...

lzw 2013-12-15 0 5998

一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers. 在你启动hadoop之前，先确认下你有没有配置这个文 ...

lzw 2013-12-14 0 18062