日志
Kyuubi详解
|
2022年12月22日，Apache 软件基金会（ASF）官方宣布 Apache Kyuubi 正式毕业，成为顶级项目（TLP）。
Apache Kyuubi 是一个分布式和多租户网关，用于在数据仓库和湖仓上提供无服务器SQL。
项目最初由网易数帆开发并于2018年开源，2021年6月捐赠 Apache基金会，经过1年多的孵化于2022年11月通过投票，在12月顺利毕业，成为 Apache 基金会顶级开源项目！
Apache Kyuubi 简介
Apache Kyuubi 在各种现代计算框架之上建立了分布式SQL查询引擎，例如 Apache Spark™、Apache Flink™、Apache Doris™、Apache Hive™和Trino等，以查询分布在异质数据源的机器群上的大规模数据集。
统一网关：通过一个入口点实现对任何集群资源的简化、安全访问，为终端用户部署不同的工作负载
应用编程接口：支持各种API，包括Apache Thrift™、JDBC、ODBC、REST等，便于访问。
多租户：支持端到端的多租户，这对集群的安全性和并发性都有利。
高可用性：确保其在指定时间内连续无障碍运行，以满足商定的运行性能水平。
无服务器SQL及更多：使最终用户更容易从数据宇宙中获得洞察力，并优化数据管道，无论他们的技术知识如何。它能够使用熟悉的SQL为各种工作负载提供与RDBMS相同的用户体验，在不同的数据源上提供广泛和安全的数据访问能力，并通过可扩展的计算资源为大量数据提供高性能。
易用性：终端用户可以有一个优化的体验，以无服务器的方式探索他们的数据宇宙。相应的引擎，如 Spark 和Flink 的 "超能力 "不再是必要的。
在任何地方以任何规模运行：所有的预编程引擎都有分布式后端，可以在单节点机器上或跨集群安排任务。
高性能：最先进的查询引擎、服务器端的全局和持续优化等保证了整个集群的性能提升。
Kyuubi 企业应用
Kyuubi 目前已被全球数百家企业采用，涉及多个行业，如云基础设施、互联网、金融、医疗、打车服务、物流、游戏和ACG，等等。像阿里巴巴、Bilibili、中国移动、携程、丁香园、eBay、爱奇艺、广发证券、kt NexR、网易、腾讯、T3、Womply、小米、雪球和知乎等公司都在使用 Apache Kyuubi。
使用场景
Kyuubi和Livy以及Spark ThriftServer对比
Apache Kyuubi 是一个分布式和多租户网关，用于在数据仓库和湖仓上提供无服务器SQL。
项目最初由网易数帆开发并于2018年开源，2021年6月捐赠 Apache基金会，经过1年多的孵化于2022年11月通过投票，在12月顺利毕业，成为 Apache 基金会顶级开源项目！
Apache Kyuubi 简介
Apache Kyuubi 在各种现代计算框架之上建立了分布式SQL查询引擎，例如 Apache Spark™、Apache Flink™、Apache Doris™、Apache Hive™和Trino等，以查询分布在异质数据源的机器群上的大规模数据集。
统一网关：通过一个入口点实现对任何集群资源的简化、安全访问，为终端用户部署不同的工作负载
应用编程接口：支持各种API，包括Apache Thrift™、JDBC、ODBC、REST等，便于访问。
多租户：支持端到端的多租户，这对集群的安全性和并发性都有利。
高可用性：确保其在指定时间内连续无障碍运行，以满足商定的运行性能水平。
无服务器SQL及更多：使最终用户更容易从数据宇宙中获得洞察力，并优化数据管道，无论他们的技术知识如何。它能够使用熟悉的SQL为各种工作负载提供与RDBMS相同的用户体验，在不同的数据源上提供广泛和安全的数据访问能力，并通过可扩展的计算资源为大量数据提供高性能。
易用性：终端用户可以有一个优化的体验，以无服务器的方式探索他们的数据宇宙。相应的引擎，如 Spark 和Flink 的 "超能力 "不再是必要的。
在任何地方以任何规模运行：所有的预编程引擎都有分布式后端，可以在单节点机器上或跨集群安排任务。
高性能：最先进的查询引擎、服务器端的全局和持续优化等保证了整个集群的性能提升。
Kyuubi 企业应用
Kyuubi 目前已被全球数百家企业采用，涉及多个行业，如云基础设施、互联网、金融、医疗、打车服务、物流、游戏和ACG，等等。像阿里巴巴、Bilibili、中国移动、携程、丁香园、eBay、爱奇艺、广发证券、kt NexR、网易、腾讯、T3、Womply、小米、雪球和知乎等公司都在使用 Apache Kyuubi。
使用场景
- 交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台引擎实例，以更好的实现计算资源共享和快速响应，并行处理大量数据的查询并快速返回结果。
- 批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储独立的，支持众多的数据源，并且Kyuubi支持在连接级别隔离后台引擎实例，以便实现更好的计算资源隔离并提升稳定性。
Kyuubi和Livy以及Spark ThriftServer对比
对比项 | Kyuubi | Livy | Spark ThriftServer |
支持接口 | SQL、Scala | SQL、Scala、Python and R | SQL |
支持引擎 | Spark、Flink、Trino | Spark | Spark |
Spark版本 | Spark 3.x | Spark 2.x & Spark 3.x | Spark组件自带 |
协议支持 | Thrift + JDBC | HTTP，Thrift + JDBC | Thrift + JDBC |
客户端 | Kyuubi Beeline | HTTP Client | Spark Beeline |
高可用 | 支持 | 支持 | 不支持 |
资源隔离 | 支持 | 支持 | 不支持 |
LDAP认证 | 支持 | 支持 | 支持 |
阿里云EMR版本 |
|
| 所有版本 |
/2 
