国人开源大数据组件Kyuubi升级为Apache 基金会顶级项目

2022年12月22日，Apache 软件基金会（ASF）官方宣布 Apache Kyuubi 正式毕业，成为顶级项目（TLP）。

Apache Kyuubi 是一个分布式和多租户网关，用于在数据仓库和湖仓上提供无服务器SQL。

项目最初由网易数帆开发并于2018年开源，2021年6月捐赠 Apache基金会，经过1年多的孵化于2022年11月通过投票，在12月顺利毕业，成为 Apache 基金会顶级开源项目！




Apache Kyuubi 简介
Apache Kyuubi 在各种现代计算框架之上建立了分布式SQL查询引擎，例如 Apache Spark、Apache Flink、Apache Doris、Apache Hive和Trino等，以查询分布在异质数据源的机器群上的大规模数据集。

统一网关：通过一个入口点实现对任何集群资源的简化、安全访问，为终端用户部署不同的工作负载

应用编程接口：支持各种API，包括Apache Thrift™、JDBC、ODBC、REST等，便于访问。

多租户：支持端到端的多租户，这对集群的安全性和并发性都有利。

高可用性：确保其在指定时间内连续无障碍运行，以满足商定的运行性能水平。

无服务器SQL及更多：使最终用户更容易从数据宇宙中获得洞察力，并优化数据管道，无论他们的技术知识如何。它能够使用熟悉的SQL为各种工作负载提供与RDBMS相同的用户体验，在不同的数据源上提供广泛和安全的数据访问能力，并通过可扩展的计算资源为大量数据提供高性能。

易用性：终端用户可以有一个优化的体验，以无服务器的方式探索他们的数据宇宙。相应的引擎，如 Spark 和Flink 的 "超能力 "不再是必要的。

在任何地方以任何规模运行：所有的预编程引擎都有分布式后端，可以在单节点机器上或跨集群安排任务。

高性能：最先进的查询引擎、服务器端的全局和持续优化等保证了整个集群的性能提升。


Kyuubi 企业应用
Kyuubi 目前已被全球数百家企业采用，涉及多个行业，如云基础设施、互联网、金融、医疗、打车服务、物流、游戏和ACG，等等。像阿里巴巴、Bilibili、中国移动、携程、丁香园、eBay、爱奇艺、广发证券、kt NexR、网易、腾讯、T3、Womply、小米、雪球和知乎等公司都在使用 Apache Kyuubi。


使用场景

• 交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台引擎实例，以更好的实现计算资源共享和快速响应，并行处理大量数据的查询并快速返回结果。
• 批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储独立的，支持众多的数据源，并且Kyuubi支持在连接级别隔离后台引擎实例，以便实现更好的计算资源隔离并提升稳定性。
  

Kyuubi和Livy以及Spark ThriftServer对比

对比项	Kyuubi	Livy	Spark ThriftServer
支持接口	SQL、Scala	SQL、Scala、Python and R	SQL
支持引擎	Spark、Flink、Trino	Spark	Spark
Spark版本	Spark 3.x	Spark 2.x & Spark 3.x	Spark组件自带
协议支持	Thrift + JDBC	HTTP，Thrift + JDBC	Thrift + JDBC
客户端	Kyuubi Beeline	HTTP Client	Spark Beeline
高可用	支持	支持	不支持
资源隔离	支持	支持	不支持
LDAP认证	支持	支持	支持
阿里云EMR版本	EMR-3.42.0及后续版本 EMR-5.8.0后续版本	EMR-3.40.0及之前版本 EMR-5.6.0及之前版本	所有版本

感谢分享