分享

oozie与kettle的比较,大家怎么看?

lanyangkj 发表于 2016-10-22 10:52:55 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 16500
oozie从实现目标的上来看就是ETL,但是比起kettle,oozie几乎没有什么名气。
大牛们你们在做hive的调度作业什么的,如何实现?

已有(4)人评论

跳转到指定楼层
lanyangkj 发表于 2016-10-22 10:55:26
我先自己发言哦,oozie的可视化效果真的很差,有人说结合hue。但是这两市场占有率都不高,结合怎么样也不知道。大家能给点点评吗?

不过kettle也有弱势,kettle虽然可视化很好,但是在多人作业的时候,好像几乎没有什么用户权限控制耶,那这也太危险了吧?
回复

使用道具 举报

xingoo 发表于 2016-10-22 11:51:26
我们是使用oozie来调度spark和mapreduce的任务,kettle不是就是调度存储过程的么?kettle不是很了解.....

不过到时候使用过oozie,配合hue的界面确实还是比较方便的。因为hue提供了oozie的任务图,有点类似spark的DAG图。
回复

使用道具 举报

arsenduan 发表于 2016-10-22 13:57:53
kettle是一个ETL工具,ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程)。
kettle中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
所以他的重心是用于数据


oozie是一个工作流,Oozie工作流是放置在控制依赖DAG(有向无环图 Direct Acyclic Graph)中的一组动作(例如,Hadoop的Map/Reduce作业、Pig作业等),其中指定了动作执行的顺序。

oozie工作流中是有数据流动的,但是重心是在于工作流的定义。

二者虽然都有相关功能及数据的流动,但是其实用途是不一样的。

更多参考内容:
OOzie 一分钟入门
http://www.aboutyun.com/forum.php?mod=viewthread&tid=12282


什么是Oozie?Oozie简介
http://www.aboutyun.com/forum.php?mod=viewthread&tid=6847

ETL kettle  视频教程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=10841




回复

使用道具 举报

lanyangkj 发表于 2016-12-11 21:54:42
lanyangkj 发表于 2016-10-22 10:55
我先自己发言哦,oozie的可视化效果真的很差,有人说结合hue。但是这两市场占有率都不高,结合怎么样也不知 ...

深有同感
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条