（1） Hadoop 1.0 第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNod ...

nettman 2014-2-3 0 6358

考虑到这些节点存储了海量的数据，集群的安全性架构引起了越来越多的关注。HadoopSphere.com公布了一个可以适用于Hadoop集群的安 ...

howtodown 2014-2-2 1 7766

本文介绍解决方案适用于hadoop 2.2.0以及以上版本。 问题1： 默认情况下，各个节点的负载不均衡（任务数目不同），有的节点很多 ...

hyj 2014-2-2 0 6119

1. ContainerAllocator概述 ContainerAllocator负责与ResourceManager通信，为作业申请资源。作业的每个任务资源需求可描述为四 ...

pig2 2014-2-1 0 9769

hadoop是基于java的数据计算平台，引入第三方库，例如C语言实现的开发包将会大大增强数据分析的效率和能力。 阿里巴巴内部使用的 ...

hyj 2014-1-29 0 7522

大数据在很多公司都成为相关话题。在处理大数据上，Hadoop已经成为事实上的标准。IBM、Oracle、SAP、甚至Microsoft等几乎所 ...

admin 2014-1-25 0 7049

servlet 能否提交job,可以的。只要是能运行程序的地方能识别代码的地方都可以提交job。无论是server，还是client。关键是谁来干 ...

howtodown 2014-1-23 0 8625

我们以RHEL6.3为例说明。 Linux的命令后面会有命令选项，有的选项还有选项值。选项的前面有短横线“-”，命令、选项、选项值 ...

nettman 2014-1-23 1 7445

前提环境：操作oracle linux 6.3 64位 hadoop cmake maven protobuf 问题描述 在64位linux装的hadoop，在很多地方会遇到l ...

xng2012 2014-1-22 0 6260

问题导读 1.HDFS元数据有几种升级方式？ 2.Hadoop 配置文件的作用是什么？ 3.自定义配置属性keys应注意什么问题？ ...

pig2 2015-11-23 0 13924

在CentOS上编译总是有错，最后发现原来是Maven版本的问题。刚开始使用的是Maven3.1.0，与Maven3.0.x存在兼容性问题，所以 ...

sstutu 2014-1-21 0 8132

hadoop2.2.0稳定版发布，立即下载先搭建测试环境。 1：规划 centOS6.4上搭建hadoop2.2.0环境，java版本7UP21 192.168.100.171 ...

pig2 2014-1-21 0 7359

hadoop常用的命令：（hadoop fs -help列出全部） 1，hadoop fs –fs [local | ]：声明hadoop使用的文件系统，如果不声明的话 ...

howtodown 2014-1-12 0 8575

系统配置：ubuntu 12.04 hadoop-1.1.2 jdk1.6.0_45 Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop，Mahout ...

bioger_hit 2014-1-11 0 7243

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.hdfs.D ...

nettman 2014-1-9 0 8337

chaiying0@ubuntu:~$ /home/hadoop/hadoop-0.20.2/bin/start-all.sh starting namenode, logging to /home/hadoop/hadoop-0.20 ...

pig2 2014-1-9 0 6214

　 看见一篇文章觉得很经典，值得分享。 在工作生活中，有些问题非常简单，但往往搜索半天也找不到所需的答案，在Hadoop的 ...

howtodown 2014-1-8 0 7103

1.Hadoop3: mkdir: cannot create directory `/usr/local/hadoop/bin/../logs': Permission denied 把所有Datanode节点执行下面 ...

howtodown 2014-1-7 0 5847

Hadoop基本流程一个图片太大了，只好分割成为两部分。根据流程图来说一下具体一个任务执行的情况。 [*]在分布式环境中客户端创 ...

nettman 2014-1-7 0 8049

── 分布式计算开源框架Hadoop入门实践（一）在SIP项目设计的过程中，对于它庞大的日志在开始时就考虑使用任务分解的多线程处理 ...

nettman 2014-1-7 0 6448

如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需 ...

lzw 2013-12-24 3 7836

在增量DUMP过程中，我们的job比较小，但是启动非常频繁，每个job的执行时间短，通过执行的日志发现，有时会出现一个job的启动时 ...

lzw 2014-1-1 0 6073

本帖最后由 pig2 于 2014-6-17 21:13 编辑 1、把\src\contrib\eclipse-plugin项目导入到eclipse中2、把\src\contrib目录下的bu ...

pig2 2014-1-1 0 7886

hadoop2的学习资料很少，只有官网的少数文档。如果想更深入的研究hadoop2，除了仅看官网的文档外，还要学习如何看源码，通过不断 ...

howtodown 2013-12-30 0 7342

HDFS存储系统中，引入了文件系统的分块概念（block），块是存储的最小单位，HDFS定义其大小为64MB。与单磁盘文件系统相似，存储 ...

lzw 2013-12-25 0 7792

Hadoop主要是由HDFS和MapReduce组成，HDFS是一个分布式文件系统（Hadoop Distributed File System），MapReduce则是用于并行处理 ...

lzw 2013-12-25 0 5143

部署hadoop的集群环境为 操作系统 centos 5.8 hadoop版本为cloudera hadoop-0.20.2-cdh3u3 集群中设置支持gzip lzo压 ...

nettman 2013-12-25 0 5413

首先介绍一个简单方法： hadoop集群之间有时候需要将数据进行迁移，如将一些保存的过期文档放置在一个小集群中进行保存。 使 ...

pig2 2013-12-24 0 8625

假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭 启动HADOOP 1. 进入HADOOP_HOME目录。2. ...

hyj 2013-12-22 0 7907