分享

hadoop2.5.1汇总:最新编译 64位安装、源码包、API下载及新特性等

 
pig2 2014-9-21 04:07:58 发表于 总结型 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 122 150516

本帖汇总帖,可以到相关帖子找答案
问题导读:
1.如果不安装g++,安装protobuf的过程中,可能会遇到什么问题?
2.如何是protobuf安装生效,查看版本?

3.hadoop2.5.1如何查看fsimage?
4.hadoop2.5.1使用了什么新技术?
5.YARN's REST APIs新增什么功能?










新增功能和改进


Common:
1.当使用代理服务器访问WebHDFS的时候,使用的 HTTP proxy server的认证有所改进。
2.使用新的 metrics sink,它允许直接写Graphite
3.规范 Hadoop兼容文件系统(HCFS) 相关工作
HDFS:
1.支持POSIX风格的文件系统的扩展属性
2.使用OfflineImageViewer,客户端可以通过WebHDFS API浏览fsimage
3.NFS网关做了不少的改进和修复的bug,Hadoop portmapper 不再需要运行gateway,gateway 能够拒绝连接从非特权的端口哦中
4.SecondaryNameNode, JournalNode, 和DataNode web界面使用了HTML5 和Javascript技术.

YARN
1.YARN's REST APIs现在支持 写/修改 操作,用户可以通过 REST APIs提交和杀死应用程序
2.在YARN的timeline存储,用于存储通用的和指定的应用程序信息,支持通过Kerberos认证
3.公平调度器支持动态分级用户队列,队列是在运行时任何指定的父队列下动态创建的





编译hadoop2.5.1及下载64位安装包

编译的时候参考从零教你在Linux环境下(ubuntu 12.04)如何编译hadoop2.4,步骤软件都没有错,不过由于环境稍微改变了一些,就遇到了新问题。系统默认安装了protobuf。而且谷歌已不能下载protobuf
最终找到安装包,通过配置环境变量解决

  1. export LD_LIBRARY_PATH=~/protobuf-2.5.0
复制代码
附上
protobuf-2.5.0
链接:http://pan.baidu.com/s/1gdHzO4N 密码:ds14





详细参考编译hadoop2.5.1及下载64位安装包









相关包下载:
hadoop-aboutyun-linux64-2.5.1.tar.gz
链接:http://pan.baidu.com/s/1c0jFUus 密码:
游客,如果您要查看本帖隐藏内容请回复


hadoop-aboutyun-Linux32-2.5.1.tar.gz
链接:http://pan.baidu.com/s/1hqGHL7A 密码:1x4i


hadoop-2.5.1-src.tar(此为maven包)
链接:http://pan.baidu.com/s/1qWDdKeg 密码:4rlt


hadoop-2.5.1-api(此为文件)
链接:http://pan.baidu.com/s/1hq9WnIG 密码:r08o
不知如何查看,可以参考如何找到hadoop2.x的api文档




hadoop-2.5.1-eclipse插件

hadoop-2.5.1-eclipse由于插件使用的eclipse版本不一样,操作系统不一样,所以我们很难找到适合自己插件,那么我们也可以编译自己想要的插件。参考:Hadoop2.5 Eclipse插件制作、连接集群视频、及hadoop-eclipse-plugin-2.5.0插件下载


相关内容:

hadoop2.5.2汇总:新增功能最新编译 32位、64位安装、源码包、API、eclipse插件下载

新手指导:hadoop官网介绍及如何下载hadoop(2.4)各个版本与查看hadoop API介绍

hadoop2.6.0汇总:新增功能最新编译 32位、64位安装、源码包、API下载及部署文档


已有(122)人评论

跳转到指定楼层
hb1984 发表于 2014-9-21 09:07:44
谢谢楼主分享。                       
回复

使用道具 举报

张文 发表于 2014-9-22 14:47:03
很不错的资源,谢谢分享
回复

使用道具 举报

fengshi20102012 发表于 2014-9-22 16:32:52
EE怎么回事  看不到啊
回复

使用道具 举报

Nirvash 发表于 2014-9-22 17:24:10
正要开始用64位的
回复

使用道具 举报

星星星星笑 发表于 2014-9-24 13:08:13
64位的都要重新编译吗?
回复

使用道具 举报

howtodown 发表于 2014-9-24 13:55:15
星星星星笑 发表于 2014-9-24 13:08
64位的都要重新编译吗?
官方只提供了32位的,64位需要自己编译
回复

使用道具 举报

rotkang 发表于 2014-9-25 17:01:32
谢谢,,正需要中。。。
回复

使用道具 举报

davidhuang 发表于 2014-9-27 14:48:42

hbase 权威指南  pan.baidu.com
回复

使用道具 举报

haroldzhh 发表于 2014-9-29 16:11:51
开始学习,。。。谢谢
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条