pig2 发表于 2014-9-21 04:07:58

hadoop2.5.1汇总:最新编译 64位安装、源码包、API下载及新特性等


本帖汇总帖,可以到相关帖子找答案
问题导读:
1.如果不安装g++,安装protobuf的过程中,可能会遇到什么问题?
2.如何是protobuf安装生效,查看版本?
3.hadoop2.5.1如何查看fsimage?
4.hadoop2.5.1使用了什么新技术?
5.YARN's REST APIs新增什么功能?


static/image/hrline/4.gif






新增功能和改进


Common:
1.当使用代理服务器访问WebHDFS的时候,使用的 HTTP proxy server的认证有所改进。
2.使用新的 metrics sink,它允许直接写Graphite
3.规范 Hadoop兼容文件系统(HCFS) 相关工作
HDFS:
1.支持POSIX风格的文件系统的扩展属性
2.使用OfflineImageViewer,客户端可以通过WebHDFS API浏览fsimage
3.NFS网关做了不少的改进和修复的bug,Hadoop portmapper 不再需要运行gateway,gateway 能够拒绝连接从非特权的端口哦中
4.SecondaryNameNode, JournalNode, 和DataNode web界面使用了HTML5 和Javascript技术.

YARN
1.YARN's REST APIs现在支持 写/修改 操作,用户可以通过 REST APIs提交和杀死应用程序
2.在YARN的timeline存储,用于存储通用的和指定的应用程序信息,支持通过Kerberos认证
3.公平调度器支持动态分级用户队列,队列是在运行时任何指定的父队列下动态创建的



static/image/hrline/2.gif

编译hadoop2.5.1及下载64位安装包

编译的时候参考从零教你在Linux环境下(ubuntu 12.04)如何编译hadoop2.4,步骤软件都没有错,不过由于环境稍微改变了一些,就遇到了新问题。系统默认安装了protobuf。而且谷歌已不能下载protobuf
最终找到安装包,通过配置环境变量解决

export LD_LIBRARY_PATH=~/protobuf-2.5.0附上
protobuf-2.5.0
链接:http://pan.baidu.com/s/1gdHzO4N 密码:ds14





详细参考编译hadoop2.5.1及下载64位安装包





static/image/hrline/2.gif



相关包下载:
hadoop-aboutyun-linux64-2.5.1.tar.gz
链接:http://pan.baidu.com/s/1c0jFUus 密码:**** Hidden Message *****

hadoop-aboutyun-Linux32-2.5.1.tar.gz
链接:http://pan.baidu.com/s/1hqGHL7A 密码:1x4i


hadoop-2.5.1-src.tar(此为maven包)
链接:http://pan.baidu.com/s/1qWDdKeg 密码:4rlt


hadoop-2.5.1-api(此为文件)
链接:http://pan.baidu.com/s/1hq9WnIG 密码:r08o
不知如何查看,可以参考如何找到hadoop2.x的api文档


static/image/hrline/2.gif

hadoop-2.5.1-eclipse插件

hadoop-2.5.1-eclipse由于插件使用的eclipse版本不一样,操作系统不一样,所以我们很难找到适合自己插件,那么我们也可以编译自己想要的插件。参考:Hadoop2.5 Eclipse插件制作、连接集群视频、及hadoop-eclipse-plugin-2.5.0插件下载


相关内容:

hadoop2.5.2汇总:新增功能最新编译 32位、64位安装、源码包、API、eclipse插件下载

新手指导:hadoop官网介绍及如何下载hadoop(2.4)各个版本与查看hadoop API介绍

hadoop2.6.0汇总:新增功能最新编译 32位、64位安装、源码包、API下载及部署文档


hb1984 发表于 2014-9-21 09:07:44

谢谢楼主分享。                     

张文 发表于 2014-9-22 14:47:03

很不错的资源,谢谢分享

fengshi20102012 发表于 2014-9-22 16:32:52

EE怎么回事看不到啊

Nirvash 发表于 2014-9-22 17:24:10

正要开始用64位的

星星星星笑 发表于 2014-9-24 13:08:13

64位的都要重新编译吗?

howtodown 发表于 2014-9-24 13:55:15

星星星星笑 发表于 2014-9-24 13:08
64位的都要重新编译吗?

官方只提供了32位的,64位需要自己编译

rotkang 发表于 2014-9-25 17:01:32

谢谢,,正需要中。。。

davidhuang 发表于 2014-9-27 14:48:42


hbase 权威指南pan.baidu.com

haroldzhh 发表于 2014-9-29 16:11:51

开始学习,。。。谢谢
页: [1] 2 3 4 5 6 7 8 9 10
查看完整版本: hadoop2.5.1汇总:最新编译 64位安装、源码包、API下载及新特性等