分享

hadoop2.7版本发布:新增功能及改变【不在支持jdk1.6】

admin 2015-4-24 11:01:54 发表于 常识型 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 24688
hadoop2.7新增功能

版本更新说明:
http://hadoop.apache.org/docs/r2.7.0/

重要:不在支持jdk1.6,支持1.7及更高版本
目前还不能用于生产,以后会出hadoop2.7.1、2.7.2

##############################

Common
当使用HTTP proxy server时,认证有所加强.这是对于使用proxy server访问WebHDFS是非常有用的
一种hadoop新的允许直接写Graphite的标准库
规范了HCFS(Hadoop Compatible Filesystem )的相关帮助


HDFS
支持POSIX风格的FileSystem扩展属性。.更多查看用户文档
使用 OfflineImageViewer, 客户端可以通过 WebHDFS API查看fsimage.
NFS网关做了些改进和bug修复。 Hadoop portmapper 不在需要运行网关, 网关可以拒绝非特权端口连接。
SecondaryNameNode, JournalNode, and DataNode 已经可以可视化

YARN
YARN’s REST APIs 现在支持 写/修改 操作. 用户可以通过REST APIs提交和 kill应用程序
时间存储在yarn中,为applications的存储和应用的通用具体信息,支持通过Kerberos认证。
公平调度器支持动态的按等级划分队列,用户队列可以动态的创建在其它父队列里



其它相关


hadoop2.7汇总:新增功能最新编译64位安装、源码包、API、eclipse插件下载


已有(2)人评论

跳转到指定楼层
qq442586235 发表于 2015-4-24 16:00:44
非常好  长知识了
回复

使用道具 举报

pig2 发表于 2015-4-26 17:11:01
Apache Hadoop 2.7.0 发布下载,包括大量显著改进,值得关注的改进如下:
  • 重大改进
    • 此版本不再支持 JDK 6 运行时,仅支持 JDK 7+
    • 此版本不适用于生产环境!还有一些重要的问题需要通过测试,用于生产环境的用户请等待 2.7.1/2.7.2
Hadoop Common


    • 支持 Windows Azure 存储 —— Blob
Hadoop HDFS


    • 支持文件截断
    • 支持每个存储类型配额
    • 支持可变长度的文件块
Hadoop YARN


    • YARN 认证可插拔
    • 自动分享,全局缓存 YARN 本地化资源(测试阶段)
Hadoop MapReduce


    • 限制一个作业运行的 Map/Reduce 任务
    • 加快大量输出文件时大型作业的 FileOutputCommitter 速度
完整改进请看发行说明

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条