分享

来自eBay基于Hadoop提供了SQL接口和OLAP接口的OLAP分析引擎介绍

pig2 发表于 2014-10-27 00:40:25 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 5 13666



Kylin是一个开源、分布式的OLAP分析引擎,它由eBay公司开发,并且基于Hadoop提供了SQL接口和OLAP接口,能够支持TB到PB级别的数据量。从Kylin官网得知,它具有以下特性:
  • 超级快的OLAP分析引擎,并具备较强的可伸缩性
    Kylin旨在减少Hadoop在10亿行以上数据级别的情况下的查询延迟。
  • 为Hadoop 提供 ANSI-SQL 接口
    Kylin为Hadoop提供了ANSI-SQL接口,并且支持大多数的ANSI-SQL的函数。
  • 交互式查询能力
    用户能够通过Kylin在秒级别的延迟状况下同Hadoop进行交互,并且对于相同的数据。集效果优于Hive的查询
  • 多维联机分析处理数据仓库(MOLAP Cube)
    用户能够定义数据模型,并且通过Kylin能够预建超过10多亿行原始数据记录的数据模型。
  • 数据模型可与其他 BI 工具无缝集成
    目前,Kylin提供了同BI工具无缝集成的功能,如Tableau。
  • 其他值得关注的特性
    具有作业管理和监控的功能、具有简单易用的 Web操作界面、支持数据压缩和编码、支持 LDAP 集成、能够利用HBase的Coprocessor降低查询延迟等。

支持Kylin能够良好运行的生态系统包括以下组成部分:
  • Kylin的核心部分
    Kylin的OLAP引擎框架包括元数据引擎、查询引擎、作业引擎、存储引擎以及用来处理客户端请求的REST服务器
  • 可扩展的组件部分
    包括支持更多功能的插件,如HBase的Coprocessor、Hive等。
  • 集成的组件部分
    生命周期管理器支持集成作业调度器、ETL工具、监控和报警系统。
  • 用户界面部分
    允许第三方用户基于Kylin 核心组件定制自己的用户界面。
  • 驱动部分
    ODBC和JDBC 驱动能够支持不同的工具和产品,如Tableau。

1015050.png
Kylin是开源的OLAP分析引擎,OLAP即联机分析处理,它能够帮助分析人员、管理人员或执行人员从多角度快速、一致、交互地存取信息和更加深入的了解信息。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求。目前,比较著名的开源OLAP分析引擎还有LemurMondrian。Lemur是用C++编写的面向混合型联机分析处理(HOLAP)的引擎,它能够被其他语言的程序所调用,支持切片、切块和旋转等基本操作。Mondrian是用JAVA编写的面向关系型联机分析处理(ROLAP)引擎,它符合XML和XMLA协议,可以完成异构平台下的数据通信。Mondrian被设计运行在关系数据库上,提供基于JAVA 的API供应用程序调用展示结果。 另外,Kylin的源代码托管在GitHub上,更多Kylin相关信息,读者可登录其官网或者GitHub查看。

已有(5)人评论

跳转到指定楼层
pengsuyun 发表于 2014-10-27 07:42:04
很好,先收藏了。
回复

使用道具 举报

271592448 发表于 2014-10-27 08:34:36
太快了。这么早就出来了。
回复

使用道具 举报

韩克拉玛寒 发表于 2014-10-27 10:45:14
很好,楼主辛苦了
回复

使用道具 举报

hb1984 发表于 2014-10-27 11:45:08
谢谢楼主分享。           
回复

使用道具 举报

chuyuan_zhou 发表于 2014-12-8 17:46:31
很好,先收藏了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条