深入浅出Hadoop生态系统(2)

本文将从Hadoop1.0到Hadoop2.0由浅入深,及扩展到Hadoop周边组件进行图文讲解与Demo演示.希望对大家有所帮助.
一、Big Data & Hadoop





二、The Hadoop App Store




三、Hadoop|Data Storage—-HDFS


四、MapReduce
①工作流程图




②Combined 原理图


③MapReduce经典单词统计Demo(Map与Reduce代码)




五、Hadoop衍生组件Pig

Pig语法示例：

六、SQL For Hadoop—-Hive
Pig貌似看来比较易用,但更易用的类SQL当属Hadoop衍生组件—Hive.


Hive体系结构图：


Hive语句示例：


七、Hadoop其它扩展组件图


八、传统企业平台与Hadoop架构平台对比
①传统企业平台

②Hadoop架构平台

细化数据：

数据分析：

丰富的数据

广告发送架构图：


九、Hadoop2.0 与资源管理框架Yarn



Yarn 简单架构图：


①HDFS FEDERATION


②Apache Tez：一个运行在YARN之上支持DAG作业的计算框架

Tez的低延迟

十、分布式实时处理框架—Storm

十一、内存处理框架Spark—数据共享




来源：http://www.vterm.cn/index.php/hadoop-ecosystem-mr1-vs-yarn/