一、背景天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性 ...

howtodown 2013-12-20 0 5146

目录0 概述 1 常规选项 2 用户命令 2.1 archive. 2.2 distcp 2.3 fs 2.4 fsck 2.5 jar 2.6 job 2.7 pipes 2.8 versi ...

xng2012 2013-12-20 0 6801

一、前提和设计目标 1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因 ...

lzw 2013-12-19 0 5041

下载插件包：hadoop-eclipse-plugin-2.2.0.jar插件包分享 基于Eclipse的Hadoop应用开发环境的配置 这两天我在装载Hadoop Core ...

nettman 2013-12-18 0 7533

[-] [*]基本信息 [*]目录配置 [*]安装JAVA [*]添加用户 [*]SSH配置 [*]环境变量 [*]下载安装hadoop [*]修改hadoop参数文 ...

hyj 2013-12-17 0 9685

[*]安装目录 [*]配置hosts [*]配置core-site.xml [*]配置hdfs-site.xml [*]配置mapred-site.xml [*]配置hadoop-env.sh ...

lzw 2013-12-15 0 4737

Hadoop 2.0提供了跟1.0类似的作业日志收集组件，从一定程度上可认为直接重用了1.0的代码模块，考虑到YARN已经变为通用资源管理平 ...

guofeng 2013-12-14 2 7024

在前一篇文章“Hadoop升级方案（二）：从Hadoop 1.0升级到2.0（1）”中，我已经介绍了如何从Hadoop 1.0升级到2.0，且启用2.0的HA ...

guofeng 2013-12-14 0 6137

1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序里面需要打开多个文件，进行剖析，系统一 ...

mituan2008 2013-12-11 18 8851

ubuntu单机伪分布式下hadoop安装

xng2012 2013-12-12 2 5331

整体结构DN: Configuration,JobClient,JobConfMaster:JobTracker,JobInProgress,TaskInProgressWN:TaskTracker,Task(MapTask、Re ...

xng2012 2013-12-12 0 9602

注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置 ...

hyj 2013-12-11 0 6920

hadoop　　介绍　　　　Hadoop分布式文件系统：架构和设计要点　　　　mapreduce作业流程概论　　　　Hadoop使用场景　　管理　 ...

yuwenge 2013-12-11 0 7500

本篇文章不涉及hadoop2.2的编译，编译相关的问题在另外一篇文章《hadoop 2.2.0 源码编译笔记》中说明，本篇文章我 ...

pig2 2013-12-11 0 6493

本篇文章不涉及hadoop2.2的编译，编译相关的问题在另外一篇文章《hadoop 2.2.0 源码编译笔记》中说明，本篇文章我 ...

pig2 2013-12-11 0 7669

今天遇到上面问题，找了一圈才是namenode安全模式问题。

lzw 2013-12-8 0 6847

以下是本人研究源代码成果, 此文僅献给我和我的小伙伴们，不足之处，欢迎斧正------------------------------------------------ ...

哈读普阿，思密 2013-11-24 0 7595

分布式文件系统的设计需求大概是这么几个：透明性、并发控制、可伸缩性、容错以及安全需求等。我想试试从这几个角度去观察HDFS的 ...

lzw 2013-12-6 0 6007

其实接触过Linux同志，应该了解block是什么，但是不同的环境下block 含义不一样： 1. 硬件上的 block size, 应该是"secto ...

hyj 2013-12-5 0 8761

问题导读 1.根据下文hadoop2.1.1客户端与hadoop2.4.0集群是否可以通信？ 2.hadoop2.4.0客户端与hadoop2.3.0集群【服务器 ...

pig2 2015-11-19 1 26857

(1)问：yarn 里的 aggregation，能阐述下吗？ 答：将作业日志自动上传到 hdfs 上，遮掩更便于统一分析和处理 (2)问：这个我知 ...

howtodown 2013-12-3 0 6087

hadoop0.23.9虚拟机单机安装 VM9，debian6，jdk1.7，hadoop0.23.9 安装步骤: 0.缺少sudo的需要安装 root@debian:apt-get ins ...

ali 2013-12-3 0 6692

Hadoop源代码分析于泓烈 200921060171一、 引言一个分布式系统基础架构，有Apache基金会开发。用户可以在不了解分布式底层细节 ...

gefieder 2013-12-2 0 8148

1.部署 namenode磁盘: sas带RAID,多磁盘存储文件系统元信息. datanode配置: 不带RAID, 双网卡: 一个用于内部数据传输，一个用 ...

howtodown 2013-12-2 0 8035

YARN是新一代Hadoop资源管理器，通过YARN，用户可以运行和管理同一个物理集群机上的多种作业，例如MapReduce批处理和图形处 ...

xng2012 2013-12-1 0 8998

1、创建公钥、公钥 ssh-keygen -t rsa 无视它出来的任何提示，欢快的一路回车到底吧。 2、把公钥 id_rsa.pub 复制到远程机 ...

howtodown 2013-11-30 0 5152

直接解压Hadoop 压缩包后，可看到上图所示的目录结构，其中，比较重要的目录 有src、conf、lib、bin 等。下面分别介绍这几 ...

lzw 2013-11-30 0 6631

排序文件名：content.txt，文件数据分为两列，第一列做为分组，第二列做为排序。B,10 A,15 C,80 B,60 A,99 C,35 A,19 B,2 ...

lzw 2013-11-29 0 7225

下面是都是伪分布的搭建过程，可能各有优点和缺点，供大家在伪分布搭建过程中参考 解说1： （1）本次主要是对Hadoop Pseudo-Di ...

hyj 2013-11-28 0 6269