搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
技术学习(版主发帖区)
›
大数据学习
›
Mapreduce
›
Cloudera配置开发环境
0
0
0
分享
Cloudera配置开发环境
eying
发表于 2016-2-15 18:45:59
[显示全部楼层]
只看大图
阅读模式
关闭右栏
0
10575
问题导读:
1.如何用Cloudera进行搭建?
2.如何选择
相关的maven坐标?
HADOOP集群,以及其它相关的集群如HBase是用Cloudera搭建的,那么就要配置相应的Cloudera的开发环境,接下来会以开发HBase的Coprocessor为例:其部署集群使用的Cloudera为5.2.4
以下是基本的步骤:
1.在maven的pom.xml文件中加入cloudera的maven仓库:
[mw_shl_code=applescript,true]<repositories>
<!-- cloudera 的仓库 -->
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/ ... -repos/</url>
</repository>
<repository>
<id>spring-milestone</id>
<url>http://repo.springsource.org/libs-milestone</url>
</repository>
<repository>
<id>oschina Releases</id>
<name>oschina Releases</name>
<url>http://maven.oschina.net/content/groups/public</url>
</repository>
</repositories>[/mw_shl_code]
2.到http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_vd_cdh5_maven_repo.html中查找自已cloudera的版本这里选择5.2.4
3.到页面选择相关的maven坐标:
4.把坐标添加到maven依赖中:
[mw_shl_code=applescript,true]<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-server</artifactId>
<version>0.98.6-cdh5.2.4</version>
</dependency>[/mw_shl_code]
这样就完成了Cloudera的hbase开发环境的配置,其它模块方式同样。
如下就可以进行相关模块的开发了:
[mw_shl_code=applescript,true]import java.io.IOException;
import java.util.List;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.coprocessor.BaseRegionObserver;
import org.apache.hadoop.hbase.coprocessor.ObserverContext;
import org.apache.hadoop.hbase.util.Bytes;
public class PutObserver extends BaseRegionObserver {
@Override
public void preGetOp(final ObserverContext e, final Get get, final List results)
throws IOException {
..........................
..........................
}
}
}
[/mw_shl_code]
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
没找到任何评论,期待你打破沉寂
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
eying
中级会员
关注
118
主题
126
帖子
20
粉丝
TA的主题
机器学习教程 七-用随机梯度下降法(SGD)做线性拟合
2016-7-4
OpenStack云端的资源调度和优化剖析
2016-7-4
机器学习教程 二-安装octave绘制3D函数图像
2016-6-27
深度学习在自然语言处理上的应用(2)_斯坦福cs224d Lecture 2
2016-6-27
Kafka设计解析(四)- Kafka Consumer设计解析
2016-6-20
24小时热文
kafka面试题精选
Nebula Flink Connector 在实时 ETL 的实践
Apache Doris 用户案例集
国家电网公司主数据管理系统技术规范
企业的主数据建设方法论与实践
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈