本帖汇总帖,可以到相关帖子找答案
问题导读:
1.如果不安装g++,安装protobuf的过程中,可能会遇到什么问题?
2.如何是protobuf安装生效,查看版本?
3.hadoop2.5.1如何查看fsimage?
4.hadoop2.5.1使用了什么新技术?
5.YARN's REST APIs新增什么功能?
新增功能和改进
Common:
1.当使用代理服务器访问WebHDFS的时候,使用的 HTTP proxy server的认证有所改进。
2.使用新的 metrics sink,它允许直接写Graphite
3.规范 Hadoop兼容文件系统(HCFS) 相关工作
HDFS:
1.支持POSIX风格的文件系统的扩展属性
2.使用OfflineImageViewer,客户端可以通过WebHDFS API浏览fsimage
3.NFS网关做了不少的改进和修复的bug,Hadoop portmapper 不再需要运行gateway,gateway 能够拒绝连接从非特权的端口哦中
4.SecondaryNameNode, JournalNode, 和DataNode web界面使用了HTML5 和Javascript技术.
YARN
1.YARN's REST APIs现在支持 写/修改 操作,用户可以通过 REST APIs提交和杀死应用程序
2.在YARN的timeline存储,用于存储通用的和指定的应用程序信息,支持通过Kerberos认证
3.公平调度器支持动态分级用户队列,队列是在运行时任何指定的父队列下动态创建的
编译hadoop2.5.1及下载64位安装包
编译的时候参考从零教你在Linux环境下(ubuntu 12.04)如何编译hadoop2.4,步骤软件都没有错,不过由于环境稍微改变了一些,就遇到了新问题。系统默认安装了protobuf。而且谷歌已不能下载protobuf
最终找到安装包,通过配置环境变量解决
- export LD_LIBRARY_PATH=~/protobuf-2.5.0
复制代码
附上
protobuf-2.5.0
链接:http://pan.baidu.com/s/1gdHzO4N 密码:ds14
详细参考编译hadoop2.5.1及下载64位安装包
相关包下载:
hadoop-aboutyun-linux64-2.5.1.tar.gz
链接:http://pan.baidu.com/s/1c0jFUus 密码:
hadoop-aboutyun-Linux32-2.5.1.tar.gz
链接:http://pan.baidu.com/s/1hqGHL7A 密码:1x4i
hadoop-2.5.1-src.tar(此为maven包)
链接:http://pan.baidu.com/s/1qWDdKeg 密码:4rlt
hadoop-2.5.1-api(此为文件)
链接:http://pan.baidu.com/s/1hq9WnIG 密码:r08o
不知如何查看,可以参考如何找到hadoop2.x的api文档
hadoop-2.5.1-eclipse插件
hadoop-2.5.1-eclipse由于插件使用的eclipse版本不一样,操作系统不一样,所以我们很难找到适合自己插件,那么我们也可以编译自己想要的插件。参考:Hadoop2.5 Eclipse插件制作、连接集群视频、及hadoop-eclipse-plugin-2.5.0插件下载
相关内容:
hadoop2.5.2汇总:新增功能最新编译 32位、64位安装、源码包、API、eclipse插件下载
新手指导:hadoop官网介绍及如何下载hadoop(2.4)各个版本与查看hadoop API介绍
hadoop2.6.0汇总:新增功能最新编译 32位、64位安装、源码包、API下载及部署文档
|