hadoop应用开发技术详解

前　言

第1章 hadoop概述 / 1

1.1 hadoop起源 / 1

1.1.1 google与hadoop模块 / 1

1.1.2 为什么会有hadoop / 1

1.1.3 hadoop版本介绍 / 2

1.2 hadoop生态系统 / 3

1.3 hadoop常用项目介绍 / 4

1.4 hadoop在国内的应用 / 6

1.5 本章小结 / 7

第2章 hadoop安装 / 8

2.1 hadoop环境安装配置 / 8

2.1.1 安装vmware / 8

2.1.2 安装ubuntu / 8

2.1.3 安装vmware tools / 15

2.1.4 安装jdk / 15

2.2 hadoop 安装模式 / 16

2.2.1 单机安装 / 17

2.2.2 伪分布式安装 / 18

.2.2.3 分布式安装 / 20

2.3 如何使用hadoop / 27

2.3.1 hadoop的启动与停止 / 27

2.3.2 hadoop配置文件 / 28

2.4 本章小结 / 28

第3章 mapreduce快速入门 / 30

3.1 wordcount 实例准备开发环境 / 30

3.1.1 使用eclipse创建一个java工程 / 30

3.1.2 导入hadoop的jar文件 / 31

3.2 mapreduce代码的实现 / 32

3.2.1 编写wordmapper类 / 32

3.2.2 编写wordreducer类 / 33

3.2.3 编写wordmain驱动类 / 34

3.3 打包、部署和运行 / 35

3.3.1 打包成jar文件 / 35

3.3.2 部署和运行 / 36

3.3.3 测试结果 / 38

3.4 本章小结 / 39

第4章 hadoop分布式文件系统详解 / 40

4.1 认识hdfs / 40

4.1.1 hdfs的特点 / 40

4.1.2 hadoop文件系统的接口 / 45

4.1.3 hdfs的web服务 / 46

4.2 hdfs架构 / 46

4.2.1 机架 / 47

4.2.2 数据块 / 47

4.2.3 元数据节点 / 48

4.2.4 数据节点 / 50

4.2.5 辅助元数据节点 / 50

4.2.6 名字空间 / 52

4.2.7 数据复制 / 53

4.2.8 块备份原理 / 53

4.2.9 机架感知 / 54

4.3 hadoop的rpc机制 / 55

4.3.1 rpc的实现流程 / 56

4.3.2 rpc的实体模型 / 56

4.3.3 文件的读取 / 57

4.3.4 文件的写入 / 58

4.3.5 文件的一致模型 / 59

4.4 hdfs的ha机制 / 59

4.4.1 ha集群 / 59

4.4.2 ha架构 / 60

4.4.3 为什么会有ha机制 / 61

4.5 hdfs的federation机制 / 62

4.5.1 单个namenode的hdfs架构的局限性 / 62

4.5.2 为什么引入federation机制 / 63

4.5.3 federation架构 / 64

4.5.4 多个名字空间的管理问题 / 65

4.6 hadoop文件系统的访问 / 66

4.6.1 安全模式 / 66

4.6.2 hdfs的shell访问 / 67

4.6.3 hdfs处理文件的命令 / 67

4.7 java api接口 / 72

4.7.1 hadoop url读取数据 / 73

4.7.2 filesystem类 / 73

4.7.3 filestatus类 / 75

4.7.4 fsdatainputstream类 / 77

4.7.5 fsdataoutputstream类 / 81

4.7.6 列出hdfs下所有的文件 / 83

4.7.7 文件的匹配 / 84

4.7.8 pathfilter对象 / 84

4.8 维护hdfs / 86

4.8.1 追加数据 / 86

4.8.2 并行复制 / 88

4.8.3 升级与回滚 / 88

4.8.4 添加节点 / 90

4.8.5 删除节点 / 91

4.9 hdfs权限管理 / 92

4.9.1 用户身份 / 92

4.9.2 权限管理的原理 / 93

4.9.3 设置权限的shell命令 / 93

4.9.4 超级用户 / 93

4.9.5 hdfs权限配置参数 / 94

4.10 本章小结 / 94

第5章 hadoop 文件 i/o 详解 / 95

5.1 hadoop文件的数据结构 / 95

5.1.1 sequencefile 存储 / 95

5.1.2 mapfile存储 / 99

5.1.3 sequencefile转换为mapfile / 101

5.2 hdfs数据完整性 / 103

5.2.1 校验和 / 103

5.2.2 数据块检测程序 / 104

5.3 文件序列化 / 106

5.3.1 进程间通信对序列化的要求 / 106

5.3.2 hadoop文件的序列化 / 107

5.3.3 writable接口 / 107

5.3.4 writablecomparable接口 / 108

5.3.5 自定义writable接口 / 109

5.3.6 序列化框架 / 113

5.3.7 数据序列化系统avro / 114

5.4 hadoop的writable类型 / 115

5.4.1 writable类的层次结构 / 115

5.4.2 text类型 / 116

5.4.3 nullwritable类型 / 117

5.4.4 objectwritable类型 / 117

5.4.5 genericwritable类型 / 117

5.5 文件压缩 / 117

5.5.1 hadoop支持的压缩格式 / 118

5.5.2 hadoop中的编码器和解码器 / 118

5.5.3 本地库 / 121

5.5.4 可分割压缩 lzo / 122

5.5.5 压缩文件性能比较 / 122

5.5.6 snappy压缩 / 124

5.5.7 gzip、lzo和snappy比较 / 124

5.6 本章小结 / 125

第6章 mapreduce工作原理 / 126

6.1 mapreduce的函数式编程概念 / 126

6.1.1 列表处理 / 126

6.1.2 mapping数据列表 / 127

6.1.3 reducing数据列表 / 127

6.1.4 mapper和reducer如何工作 / 128

6.1.5 应用实例：词频统计 / 129

6.2 mapreduce框架结构 / 129

6.2.1 mapreduce模型 / 130

6.2.2 mapreduce框架组成 / 130

6.3 mapreduce运行原理 / 132

6.3.1 作业的提交 / 132

6.3.2 作业初始化 / 134

6.3.3 任务的分配 / 136

6.3.4 任务的执行 / 136

6.3.5 进度和状态的更新 / 136

6.3.6 mapreduce的进度组成 / 137

6.3.7 任务完成 / 137

6.4 mapreduce容错 / 137

6.4.1 任务失败 / 138

6.4.2 tasktracker失败 / 138

6.4.3 jobtracker失败 / 138

6.4.4 子任务失败 / 138

6.4.5 任务失败反复次数的处理方法 / 139

6.5 shuffle阶段和sort阶段 / 139

6.5.1 map端的shuffle / 140

6.5.2 reduce端的shuffle / 142

6.5.3 shuffle过程参数调优 / 143

6.6 任务的执行 / 144

6.6.1 推测执行 / 144

6.6.2 任务jvm重用 / 145

6.6.3 跳过坏的记录 / 145

6.6.4 任务执行的环境 / 146

6.7 作业调度器 / 146

6.7.1 先进先出调度器 / 146

6.7.2 容量调度器 / 146

6.7.3 公平调度器 / 149

6.8 自定义hadoop调度器 / 153

6.8.1 hadoop调度器框架 / 153

6.8.2 编写hadoop调度器 / 155

6.9 yarn介绍 / 157

6.9.1 异步编程模型 / 157

6.9.2 yarn支持的计算框架 / 158

6.9.3 yarn架构 / 158

6.9.4 yarn工作流程 / 159

6.10 本章小结 / 160

第7章 eclipse插件的应用 / 161

7.1 编译hadoop源码 / 161

7.1.1 下载hadoop源码 / 161

7.1.2 准备编译环境 / 161

7.1.3 编译common组件 / 162

7.2 eclipse安装mapreduce插件 / 166

7.2.1 查找mapreduce插件 / 166

7.2.2 新建一个hadoop location / 167

7.2.3 hadoop插件操作hdfs / 168

7.2.4 运行mapreduce的驱动类 / 170

7.3 mapreduce的debug调试 / 171

7.3.1 进入debug运行模式 / 171

7.3.2 debug调试具体操作 / 172

7.4 单元测试框架mrunit / 174

7.4.1 认识mrunit框架 / 174

7.4.2 准备测试案例 / 174

7.4.3 mapper单元测试 / 176

7.4.4 reducer单元测试 / 177

7.4.5 mapreduce单元测试 / 178

7.5 本章小结 / 179

第8章 mapreduce编程开发 / 180

8.1 wordcount案例分析 / 180

8.1.1 mapreduce工作流程 / 180

8.1.2 wordcount的map过程 / 181

8.1.3 wordcount的reduce过程 / 182

8.1.4 每个过程产生的结果 / 182

8.1.5 mapper抽象类 / 184

8.1.6 reducer抽象类 / 186

8.1.7 mapreduce驱动 / 188

8.1.8 mapreduce最小驱动 / 189

8.2 输入格式 / 193

8.2.1 inputformat接口 / 193

8.2.2 inputsplit类 / 195

8.2.3 recordreader类 / 197

8.2.4 应用实例：随机生成100个小数并求最大值 / 198

8.3 输出格式 / 205

8.3.1 outputformat接口 / 205

8.3.2 recordwriter类 / 206

8.3.3 应用实例：把首字母相同的单词放到一个文件里 / 206

8.4 压缩格式 / 211

8.4.1 如何在mapreduce中使用压缩 / 211

8.4.2 map作业输出结果的压缩 / 212

8.5 mapreduce优化 / 212

8.5.1 combiner类 / 212

8.5.2 partitioner类 / 213

8.5.3 分布式缓存 / 217

8.6 辅助类 / 218

8.6.1 读取hadoop配置文件 / 218

8.6.2 设置hadoop的配置文件属性 / 219

8.6.3 genericoptionsparser选项 / 220

8.7 streaming接口 / 221

8.7.1 streaming工作原理 / 221

8.7.2 streaming编程接口参数 / 221

8.7.3 作业配置属性 / 222

8.7.4 应用实例：抓取网页的标题 / 223

8.8 本章小结 / 225

第9章 mapreduce 高级应用 / 226

9.1 计数器 / 226

9.1.1 默认计数器 / 226

9.1.2 自定义计数器 / 229

9.1.3 获取计数器 / 231

9.2 mapreduce二次排序 / 232

9.2.1 二次排序原理 / 232

9.2.2 二次排序的算法流程 / 233

9.2.3 代码实现 / 235

9.3 mapreduce中的join算法 / 240

9.3.1 reduce端join / 240

9.3.2 map端join / 242

9.3.3 半连接semi join / 244

9.4 mapreduce从mysql读写数据 / 244

9.4.1 读数据 / 245

9.4.2 写数据 / 248

9.5 hadoop系统调优 / 248

9.5.1 小文件优化 / 249

9.5.2 map和reduce个数设置 / 249

9.6 本章小结 / 250

第10章数据仓库工具hive / 251

10.1 认识hive / 251

10.1.1 hive工作原理 / 251

10.1.2 hive数据类型 / 252

10.1.3 hive的特点 / 253

10.1.4 hive下载与安装 / 255

10.2 hive架构 / 256

10.2.1 hive用户接口 / 257

10.2.2 hive元数据库 / 259

10.2.3 hive的数据存储 / 262

10.2.4 hive解释器 / 263

10.3 hive 文件格式 / 264

10.3.1 textfile格式 / 265

10.3.2 sequencefile 格式 / 265

10.3.3 rcfile文件格式 / 265

10.3.4 自定义文件格式 / 269

10.4 hive操作 / 270

10.4.1 表操作 / 270

10.4.2 视图操作 / 278

10.4.3 索引操作 / 280

10.4.4 分区操作 / 283

10.4.5 桶操作 / 289

10.5 hive复合类型 / 290

10.5.1 struct类型 / 291

10.5.2 array类型 / 292

10.5.3 map类型 / 293

10.6 hive的join详解 / 294

10.6.1 join操作语法 / 294

10.6.2 join原理 / 294

10.6.3 外部join / 295

10.6.4 map端join / 296

10.6.5 join中处理null值的语义区别 / 296

10.7 hive 优化策略 / 297

10.7.1 列裁剪 / 297

10.7.2 map join操作 / 297

10.7.3 group by操作 / 298

10.7.4 合并小文件 / 298

10.8 hive内置操作符与函数 / 298

10.8.1 字符串函数 / 299

10.8.2 集合统计函数 / 299

10.8.3 复合类型操作 / 301

10.9 hive用户自定义函数接口 / 302

10.9.1 用户自定义函数udf / 302

10.9.2 用户自定义聚合函数udaf / 304

10.10 hive的权限控制 / 306

10.10.1 角色的创建和删除 / 307

10.10.2 角色的授权和撤销 / 307

10.10.3 超级管理员权限 / 309

10.11 应用实例：使用 jdbc开发hive 程序 / 311

10.11.1 准备测试数据 / 311

10.11.2 代码实现 / 311

10.12 本章小结 / 313

第11章开源数据库hbase / 314

11.1 认识hbase / 314

11.1.1 hbase的特点 / 314

11.1.2 hbase访问接口 / 314

11.1.3 hbase存储结构 / 315

11.1.4 hbase存储格式 / 317

11.2 hbase设计 / 319

11.2.1 逻辑视图 / 320

11.2.2 框架结构及流程 / 321

11.2.3 table和region的关系 / 323

11.2.4 -root-表和.meta.表 / 323

11.3 关键算法和流程 / 324

11.3.1 region定位 / 324

11.3.2 读写过程 / 325

11.3.3 region分配 / 327

11.3.4 region server上线和下线 / 327

11.3.5 master上线和下线 / 327

11.4 hbase安装 / 328

11.4.1 hbase单机安装 / 328

11.4.2 hbase分布式安装 / 330

11.5 hbase的shell操作 / 334

11.5.1 一般操作 / 334

11.5.2 ddl操作 / 335

11.5.3 dml操作 / 337

11.5.4 hbase shell脚本 / 339

11.6 hbase客户端 / 340

11.6.1 java api交互 / 340

11.6.2 mapreduce操作hbase / 344

11.6.3 向hbase中写入数据 / 348

11.6.4 读取hbase中的数据 / 350

11.6.5 avro、rest和thrift接口 / 352

11.7 本章小结 / 353

第12章 mahout算法 / 354

12.1 mahout的使用 / 354

12.1.1 安装mahout / 354

12.1.2 运行一个mahout案例 / 354

12.2 mahout数据表示 / 356

12.2.1 偏好perference类 / 356

12.2.2 数据模型datamodel类 / 357

12.2.3 mahout 链接mysql数据库 / 358

12.3 认识taste框架 / 360

12.4 mahout推荐器 / 361

12.4.1 基于用户的推荐器 / 361

12.4.2 基于项目的推荐器 / 362

12.4.3 slope one 推荐策略 / 363

12.5 推荐系统 / 365

12.5.1 个性化推荐 / 365

12.5.2 商品推荐系统案例 / 366

12.6 本章小结 / 370

附录a hive内置操作符与函数 / 371

附录b hbase 默认配置解释 / 392

附录c hadoop三个配置文件的参数含义说明 / 398

扫描完整版

链接: http://pan.baidu.com/s/1eQ9vvZs 密码:

游客，如果您要查看本帖隐藏内容请回复

注：资源来自网络

相关代码下载移步： hadoop应用开发技术详解代码下载