本帖最后由 Oner 于 2016-8-25 16:28 编辑 问题导读： 1. Spark为什么能提高Mysql的查询速度？ 2. 如何运行SQL in Spark？ ...

Oner 2016-8-25 2 23319

Blaze 是快手自研的基于Rust语言和DataFusion框架开发的Spark向量化执行引擎，旨在通过本机矢量化执行技术来加速Spark SQL的 ...

admin 2024-10-17 0 344

问题导读 1.IntelliJ IDEA是否可以直接创建Scala工程？ 2.IntelliJ IDEA安装，需要安装哪些软件？ 3.IntelliJ IDEA如何安装 ...

pig2 2017-8-3 9 37409

本帖最后由 不会飞的小凯凯 于 2015-11-20 16:17 编辑 问题导读： 1.什么是Spark微服务？ 2.如何进行微服务实时性能 ...

不会飞的小凯凯 2015-11-20 3 14041

Iceberg是数据湖的重要技术，也会与其它组件组合.其中Spark读写Iceberg是比较新且重要的应用，我们看在腾讯的实践和优化 全文目 ...

nettman 2022-10-31 0 1568

问题导读 1.Spark 3.3 新增了哪些特性？ 2.Join查询性能提升最高可提高多少倍？ 3.自适应查询执行（AQE）做了哪些改进？ ...

nettman 2022-6-20 0 2543

问题导读： 1、怎样构建一个风控业务架构？ 2、风控规则模型有哪些？ 3、怎样实现Flink CEP 动态更新？ 一、 ...

fc013 2022-6-17 0 4411

问题导读： 1、 Catalyst的早期实现有哪些缺陷？ 2、 Spark 3.0 中 AQE做了哪些优化？ 3、 Spark 3.0 中 DPP做了哪些优 ...

fc013 2022-5-28 0 3757

问题导读： 1、什么事Apache Spark？ 2、Spark SQL发展历程有几个阶段？ 3、Spark SQL底层执行原理如何理解？ 4、Catalyst ...

levycui 2022-4-27 0 3072

问题导读： 1、sparkSQL支持的数据类型有哪些？ 2、greatest方法和Greatest类如何使用？ 3、ArrayType处理方法是什么？ 4、S ...

levycui 2022-1-18 0 2467

问题导读： 1.说一下spark调度机制？ 2.Spark的调度框架是否支持并行提交多个job？ 3.思考下在非自适应与自适应情况下SQL的并 ...

Mirinda 2021-11-8 2 3025

问题导读： 1、为什么同一批数据执行相同sql返回值不相同？ 2、怎样构建一个测试用例？ 3、怎样使同一批数据执行相同sql ...

fc013 2021-11-5 1 5143

问题导读 1.SparkListener类的作用事什么？ 2.Spark如果想监控各个任务的事件该如何实现？ 3.阶段的事件监听接口类是哪个？ ...

阿飞 2021-7-8 0 4150

问题导读： 1、如何理解自适应查询执行设计原理？ 2、如何设置Shuffle分区的自适应数目？ 3、如何进行动态合并shuffle分区？ ...

levycui 2021-5-26 0 2753

问题导读 1.本项目需求有哪些？2.类的入口是什么？3.各个需求是如何实现的？ 代码下载：链接: https://pan.baidu.com/s/17IAal ...

Mirinda 2021-5-17 0 6697

问题导读： 1、yarn有哪些界面？功能是什么？ 2、如何解决数据倾斜？ 3、如何处理小文件过多问题？ 4、如何解决笛卡尔积/数 ...

levycui 2021-4-28 0 5737

基于Apache Spark 3.1.1的CDS 3.1在CDP Private Cloud Base 7.1.6上正式发布，这是CDS 3的小版本更新发布，主要改进包括： Pa ...

阿飞 2021-4-13 3 3038

问题导读 1.Spark3.1.1是否稳定版？ 2.Zen 项目的启动从哪三个方面提高 PySpark 的可用性？ 3.为了增强查询性能，做了哪些 ...

阿飞 2021-3-4 0 5569

问题导读： 1、Iceberg在实际的应用场景中会有什么收益？ 2、Iceberg可以优化哪些流程？ 3、Iceberg的数据读写流程是怎 ...

fc013 2021-2-5 0 5749

本帖最后由 levycui 于 2021-1-20 20:13 编辑 问题导读： 1、如何理解CBO基本原理？ 2、如何阅读Spark CBO源码实现？ 3、Sp ...

levycui 2021-1-20 1 3179

问题导读 1.为什么会出现Spark？ 1.1 什么是hadoop？ 1.2 什么是MapReduce计算模型？ 1.3 Spark比Mapreduc ...

abc50319 2018-7-21 3 9230

问题导读 1.什么是Spark MLlib ？ 2.Spark MLlib 分为哪些类？ 3.KMeans算法的基本思想是什么？ 4.Spark Mllib KMeans源码 ...

xuanxufeng 2016-9-7 2 36559

问题导读 1.什么是spark stage？ 2.stage如何划分？ 3.Spark 多个Stage执行是串行执行的么？ 什么是spark s ...

howtodown 2016-9-5 4 21808

本帖最后由 PeersLee 于 2017-10-4 15:00 编辑 问题导读： 1. 如果将 Storm 替换为 Spark 那么业务实现流程是什么？ 2. 如 ...

PeersLee 2017-10-4 10 12456

本帖最后由 levycui 于 2017-12-6 16:26 编辑 问题导读： 1、Spark SQL/DataFrame如何理解？ 2、如何使用spark SQL编写统计 ...

levycui 2017-12-6 8 11906

本帖最后由 levycui 于 2020-3-25 17:53 编辑 问题导读： 1、Spark Streaming有哪些组件？ 2、Micro-Batch Architecture如何 ...

levycui 2020-3-25 1 5319

问题导读 1.Executor和分区该如何调优？ 2.缓存和数据本地性该如何调整？ 3.在TaskSet级别Spark提供了哪两种模式？ ...

xuanxufeng 2016-12-2 2 12745

本帖最后由 Oner 于 2017-2-16 17:23 编辑 问题导读：1. Transformations 类的函数如何使用？2. Window Operations 类的函数如 ...

Oner 2017-2-16 8 13209

问题导读 1.通过什么菜单项可以导入源码？ 2.打jar包需要哪些步骤? 3.如何找到jar生成路径？ 上一篇： about云日志 ...

pig2 2017-10-9 7 15283

问题导读： 1.Spark的适用场景是什么？2.spark 运行流程是怎样的？3.Spark Streaming的运行原理是怎样的？ spa ...

fc013 2017-4-29 7 35247