Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理资料分享

本帖最后由 pig2 于 2014-7-16 11:05 编辑

目　　录
前　言
第一部分　环境准备
第1 章　源代码环境准备/ 2
   1.1　什么是Hadoop / 2
         1.1.1　Hadoop  简史/ 2
         1.1.2　Hadoop  的优势/ 3
         1.1.3　Hadoop 生态系统/ 4
   1.2　准备源代码阅读环境/ 8
         1.2.1　安装与配置JDK / 8
         1.2.2　安装Eclipse / 9
         1.2.3　安装辅助工具Ant/  12
         1.2.4　安装类UNIX Shell 环境Cygwin /  13
   1.3　准备Hadoop 源代码/  15
         1.3.1　下载Hadoop /  15
         1.3.2　创建Eclipse 项目/  16
                                                                     　
                                                                  　 VII
                                                                        　
   1.3.3　Hadoop  源代码组织/  18
1.4　小结/  19
第二部分　Common 的实现
第2 章　Hadoop 配置信息处理/ 22
2.1　配置文件简介/ 22
   2.1.1　Windows 操作系统的配置文件/ 22
   2.1.2　Java 配置文件/ 23
2.2　Hadoop Configuration 详解/ 24
   2.2.1　Hadoop  配置文件的格式/ 24
   2.2.2　Configuration  的成员变量/ 26
   2.2.3　资源加载/ 27
   2.2.4　使用get* 和set* 访问/ 设置配置项/ 32
2.3　Configurable 接口/ 34
2.4　小结/ 35
第3 章　序列化与压缩/ 36
3.1　序列化/ 36
   3.1.1　Java  内建序列化机制/ 36
   3.1.2　Hadoop 序列化机制/ 38
   3.1.3　Hadoop 序列化机制的特征/ 39
   3.1.4　Hadoop Writable 机制/ 39
   3.1.5　典型的Writable 类详解/ 4 1
   3.1.6　Hadoop 序列化框架/ 48
3.2　压缩/ 49
   3.2.1　Hadoop 压缩简介/ 50
   3.2.2　Hadoop 压缩API 应用实例/ 51
   3.2.3　Hadoop 压缩框架/ 52
   3.2.4　Java 本地方法/ 61
   3.2.5　支持Snappy 压缩/ 65
3.3　小结/ 69
                                                                     　
                                                                     　 IX
                                                                        　
   5.1.1　文件系统的用户界面/  142
   5.1.2　文件系统的实现/  145
   5.1.3　文件系统的保护控制/  147
5.2　Linux 文件系统/  150
   5.2.1　Linux 本地文件系统/  150
   5.2.2　虚拟文件系统/  153
   5.2.3　Linux 文件保护机制/  154
   5.2.4　Linux 文件系统API/  155
5.3　分布式文件系统/  159
   5.3.1　分布式文件系统的特性/  159
   5.3.2　基本NFS 体系结构/  160
   5.3.3　NFS 支持的文件操作/  160
5.4　Java 文件系统/  162
   5.4.1　Java 文件系统API /  162
   5.4.2　URI 和URL /  164
   5.4.3　Java 输入/ 输出流/  166
   5.4.4　随机存取文件/  169
5.5　Hadoop 抽象文件系统/  170
   5.5.1　Hadoop  文件系统API /  170
   5.5.2　Hadoop 输入/ 输出流/  175
   5.5.3　Hadoop  文件系统中的权限/  179
   5.5.4　抽象文件系统中的静态方法/  180
   5.5.5　Hadoop  文件系统中的协议处理器/  184
5.6　Hadoop 具体文件系统/  188
   5.6.1　FileSystem 层次结构/  189
   5.6.2　RawLocalFileSystem  的实现/  191
   5.6.3　ChecksumFileSystem  的实现/  196
   5.6.4　RawInMemoryFileSystem  的实现/ 2 10
5.7　小结/ 2 13
第三部分　Hadoop 分布式文件系统
第6 章　HDFS 概述/ 2 16
6.1　初识HDFS / 2 16
X　　
　
      6.1.1　HDFS 主要特性/ 2 16
      6.1.2　HDFS 体系结构/ 2 17
      6.1.3　HDFS 源代码结构/ 22 1
6.2　基于远程过程调用的接口/ 223
      6.2.1　与客户端相关的接口/ 224
      6.2.2　HDFS 各服务器间的接口/ 236
6.3　非远程过程调用接口/ 244
      6.3.1　数据节点上的非IPC 接口/ 245
      6.3.2　名字节点和第二名字节点上的非IPC 接口/ 252
6.4　HDFS 主要流程/ 254
      6.4.1　客户端到名字节点的文件与目录操作/ 254
      6.4.2　客户端读文件/ 256
      6.4.3　客户端写文件/ 257
      6.4.4　数据节点的启动和心跳/ 258
      6.4.5　第二名字节点合并元数据/ 259
6.5　小结/ 261
第7 章　数据节点实现/ 263
7.1　数据块存储/ 263
      7.1.1　数据节点的磁盘目录文件结构/ 263
      7.1.2　数据节点存储的实现/ 266
      7.1.3　数据节点升级/ 269
      7.1.4　文件系统数据集的工作机制/ 276
7.2　流式接口的实现/ 285
      7.2.1　DataXceiverServer 和DataXceiver / 286
      7.2.2　读数据/ 289
      7.2.3　写数据/ 298
      7.2.4　数据块替换数据块拷贝和读数据块检验信息/ 313
                           、
7.3　作为整体的数据节点/ 314
      7.3.1　数据节点和名字节点的交互/ 314
      7.3.2　数据块扫描器/ 319
      7.3.3　数据节点的启停/ 32 1
7.4　小结/ 326
                                                                     　
                                                                     　 XI
                                                                        　
第8 章　名字节点实现/ 327
8.1　文件系统的目录树/ 327
   8.1.1　从i-node 到INode/ 327
   8.1.2　命名空间镜像和编辑日志/ 333
   8.1.3　第二名字节点/ 351
   8.1.4　FSDirectory  的实现/ 361
8.2　数据块和数据节点管理/ 365
   8.2.1　数据结构/ 366
   8.2.2　数据节点管理/ 378
   8.2.3　数据块管理/ 392
8.3　远程接口ClientProtocol 的实现/ 4 12
   8.3.1　文件和目录相关事务/ 4 12
   8.3.2　读数据使用的方法/ 4 15
   8.3.3　写数据使用的方法/ 4 19
   8.3.4　工具dfsadmin 依赖的方法/ 443
8.4　名字节点的启动和停止/ 444
   8.4.1　安全模式/ 444
   8.4.2　名字节点的启动/ 449
   8.4.3　名字节点的停止/ 454
8.5　小结/ 454
第9 章　HDFS 客户端/ 455
9.1　认识DFSClient / 455
   9.1.1　DFSClient  的构造和关闭/ 455
   9.1.2　文件和目录系统管理相关事务/ 457
                  、
   9.1.3　删除HDFS 文件/    目录的流程/ 459
9.2　输入流/ 461
   9.2.1　读数据前的准备打开文件/ 463
                        ：
   9.2.2　读数据/ 465
   9.2.3　关闭输入流/ 475
   9.2.4　读取HDFS 文件数据的流程/ 475
9.3　输出流/ 478
   9.3.1　写数据前的准备创建文件/ 481
                        ：
   9.3.2　写数据数据流管道的建立/ 482
               ：
XII　　
　
      9.3.3　写数据数据包的发送/ 486
                        ：
      9.3.4　写数据数据流管道出错处理/ 493
                        ：
      9.3.5　写数据租约更新/ 496
                        ：
      9.3.6　写数据 DFSOutputStream.sync()  的作用/ 497
                        ：
      9.3.7　关闭输出流/ 499
      9.3.8　向HDFS 文件写入数据的流程/ 500
9.4　DistributedFileSystem 的实现/ 506
9.5　HDFS 常用工具/ 508
      9.5.1　FsShell / 508
      9.5.2　DFSAdmin / 510
9.6　小结/ 511
链接: http://pan.baidu.com/s/17rXmX 密码:

游客，如果您要查看本帖隐藏内容请回复

移步：
Hadoop技术内幕深入解析HADOOP COMMON和HDFS架构设计与实现原理大全1-9章