Apache Hadoop 3.1.0 正式发布，原生支持GPU和FPGA

问题导读


1.Yarn Service是用来做什么的？
2.YARN 是否支持基于 GPU 的调度和隔离？
3.对于资源的配置如内存数量、vcore 核数、GPU等，做了什么改变？

Hadoop 3.1.0 版本带来的重大变化简要介绍如下：

• Yarn Service 服务框架为在 YARN 上长期运行的服务提供支持，作为一个容器编配平台来管理运行在 YARN 上那些被容器化的服务，支持 Docker 容器和传统容器。
  
  
  详情参见：
  http://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/yarn-service/Overview.html
• YARN 支持基于 GPU 的调度和隔离（Docker 和非 Docker 容器）。
  
  
  详情参见：
  http://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/UsingGpus.html
• YARN 支持基于 FPGA 的调度和隔离（Docker 和非 Docker 容器）。
  
  
  详情参见：
  http://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/UsingFPGA.html
• 在 YARN 中支持更多的配置约束。这些约束对于应用程序的性能和弹性至关重要，尤其是那些包含长期运行容器的应用程序，如服务、机器学习和流式工作负载。在同一机架上调度有关联的任务（相似性约束）可以降低网络成本，在机器之间分配任务（反亲和约束）以便降低资源干扰，或者限定特定节点组的任务数量（基数约束）以在两者之间取得平衡。
  
  
  详情参见：
  http://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/PlacementConstraints.html
• 支持管理员为队列指定具体数目的资源（比如具体的内存数量、vcore 核数、GPU 等），而不是提供基于百分比的值，这让管理员能够更好地控制给定队列配置所需的资源。
  
  
  详情参见：
  http://hadoop.apache.org/docs/r3.1.0/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html
• 3.1.0 提供的存储允许将存储在 HDFS 之外的数据映射到 HDFS，并从 HDFS 进行寻址。这是一种异构存储，通过向 DataNode 中引入新的存储类型 PROVIDED 来实现。
  
  
  详情参见：
  http://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-hdfs/HdfsProvidedStorage.html
  
  

其它更新

3.1.0 版本中，Hadoop 社区修复了 768 个在 JIRA 记录的问题（https://s.apache.org/apache-hadoop-3.1.0-all-tickets），包括：

• 与 Hadoop Common 有关的 141 个 ，其中包括 S3/S3A/S3Guard 相关改进

• 与 HDFS 有关的 266 个

• 与 YARN 有关的 329 个

• 与 MapReduce 有关的 32 个

  
  

更多改动参见官方 Release Notes：

http://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-common/release/3.1.0/RELEASENOTES.3.1.0.html

Hadoop 老矣？

Gartner 在 2017 年 9 月发布的一份关于数据管理的技术成熟度曲线显示，由于整个 Hadoop 堆栈的复杂性和可用性问题，许多组织已经开始重新考虑其在信息基础架构中的角色。Gartner 认为，Hadoop 已发行版本已经被淘汰出局，未能进入实质生产的高峰期 （Plateau of Productivity）。与此相对，企业正在寻求其他更有竞争力、更加便捷的基于云的产品。

Hadoop 是否真的老矣？此次 3.1.0 版本发布的几项重大改进，能否给这个老牌大数据平台带来新的活力？你怎么看？

原文链接：

https://lists.apache.org/thread.html/8313e605c0ed0012f134cce9cc6adca738eea81feccea99c8de87cd9@%3Cgeneral.hadoop.apache.org%3E

http://hadoop.apache.org/docs/r3.1.0/index.html

https://www.gartner.com/newsroom/id/3809163

http://mp.weixin.qq.com/s?__biz=MzU1NDA4NjU2MA==&mid=2247489653&idx=1&sn=d35f5726ccfda6d4eaedc4cab2192063&chksm=fbe9a1bacc9e28acc44f0102287cf9ff39e2488c6196fc40db3b048c7a8b099979710fcfe1de&mpshare=1&scene=23&srcid=0408LFQiqXaOVQ3i9MdQWLpY#rd

大改进