问题导读 1.Spark读写iceberg表需要哪些配置？ 2.Spark开发环境中需要引入哪些包？ 3.如何开启hive对iceberg的支持？ 1 ...

nettman 2021-2-3 0 7058

问题导读 1.数据湖和数据仓库在维度上有哪些特性？ 2.数据湖有哪些实现技术？ 3.数据湖技术目前存在哪些优缺点？ 一、 ...

nettman 2021-1-4 0 6107

问题导读 1.routineLoad同步数据存在哪些问题？ 2.routineLoad管理缺陷是什么？ 3.batch_rows和batch_interval参数的含义是 ...

hyj 2021-4-28 0 5767

问题导读 1.Iceberg包含哪些特点？ 2.Iceberg官网提供哪些包？ 3.Iceberg有哪些数据类型？ 4.Iceberg隐藏分区有什么作用？ ...

nettman 2021-2-3 0 5363

问题导读： 1.工作中使用过Iceberg吗？ 2.在使用Iceberg遇到那些难题？ 3.常用的Iceberg优化机制有哪两种？ 在上周介绍Ice ...

Mirinda 2022-4-7 0 4458

问题导读： 1、什么是数据湖？ 2、数据湖的基本特征有哪些？ 3、基本架构如何理解？ 4、数据湖与数据仓库的区别是什么？ ...

levycui 2021-8-31 0 3978

问题导读 1.Hudi集成Spark SQL需要哪些准备？ 2.如何设置并发度？ 3.如何实现操作Hudi表数据？ 1. 摘要 社区小伙伴一 ...

hyj 2021-5-6 0 3955

问题导读 1.Hudi有哪两种原语？ 2.Hudi设计原则包含哪些？ 3.Hudi表有哪三个主要组件？ 4.Hudi时间轴是什么？ 5.hudi表类 ...

hyj 2021-2-1 3 3951

问题导读 1.Iceberg 发布了 0.11.0实现了哪些功能？ 2.在 Flink 和 Iceberg 的集成方面实现了哪些目标？ 3.Iceberg 0.10.0 ...

阿飞 2021-2-4 0 3715

问题导读：1.有了解过Apache Hudi吗？2.Apache Hudi有哪些重要特征？3.谈谈你对Apache Hudi的了解？ 在发布的Apache Hu ...

Mirinda 2021-12-13 2 3711

问题导读: 1.现实中有哪些案例属于近实时的范畴? 2.增量模型需要解决那些核心问题? 3.一张hudi数据湖表具有那些形态? 一 ...

Mirinda 2021-9-2 0 3664

问题导读： 1、什么是Apache Hudi？ 2、Hudi系统是怎样设计的？ 3、Hudi支持哪几种不同的查询表？ 1. 简介 Apache ...

fc013 2021-6-25 1 3604

问题导读: 1.实时计算平台的架构分哪三层? 2.数据采集层有那几个场景? 3.Lambda 架构下，数仓有哪些缺点? 一、背景百信银 ...

Mirinda 2021-7-15 0 3586

问题导读： 1.你对Apache Hudi熟悉吗？ 2. Hudi表分为哪几种类型？ 3.Hudi 表由 哪两大项构成？ 一篇关于字节跳动基于 A ...

Mirinda 2021-11-4 2 3479

问题导读： 1、数据湖是炒作概念还是未来趋势？ 2、不同企业的典型应用有哪些？ 3、如何开展实时金融数据湖应用？ 4、数据湖 ...

levycui 2021-11-24 3 3414

本帖最后由 levycui 于 2021-7-27 19:37 编辑 问题导读： 1、实际应用中遇到的痛点有哪些？ 2、业务诉求是什么？ 3、如何调 ...

levycui 2021-7-27 0 3409

问题导读： 1、Hudi0.6.0版本有哪些新功能？ 2、支持的回调方式有哪些？ 3、为什么回调接收服务需使用 callbackMsg字段接收信 ...

levycui 2020-12-29 0 3334

问题导读 1.数据湖到底如何帮助企业？ 2.有了数据仓库为何还需要数据湖？ 3.数据湖比数据仓库多了哪些用途？ 相关篇： ...

阿飞 2021-1-7 0 3310

问题导读 1.SparkSQL模式演进需要设置哪个参数？ 2.如何添加列？ 3.如何修改列？ Schema Evolution（模式演进）允许用 ...

nettman 2022-6-27 0 3218

问题导读: 1.什么是湖仓一体的架构? 2.Shared - Nothing 架构的优势是什么? 3.Shared - Nothing 架构的劣势是什么? 摘要 ...

Mirinda 2021-4-29 0 3148

问题导读： 1、TIS可以为您做什么？ 2、TIS实现原理如何理解？ 3、如何创建MySQL到Hudi千表入湖通道？ 4、如何设置Flink增量 ...

levycui 2022-6-8 0 3157

问题导读： 1、Hudi的索引类型有哪些？ 2、如何对事实表做延迟更新？ 3、如何对事件表做去重？ 4、如何对维度表做随机更删？ ...

levycui 2021-1-5 0 3067

问题导读 1.本文的背景是什么？ 2.中构建大数据平台的痛点是什么？ 3.为什么选择hudi？ 4.hudi 数据同步分为哪两部分？ ...

nettman 2021-1-28 0 2769

问题导读 1.Hudi Clustering带来哪些好处？ 2.Metadata表实现使用什么表？ 3.Hudi哪个版本添加了Flink和Java客户端？ 4. H ...

阿飞 2021-1-29 0 2727

问题导读： 1、什么是Apache Hudi？ 2、Hudi如何编译？ 3、Hive和Presto如何进行集成？ 4、如何编写Hudi代码？ 上一篇 ...

levycui 2021-1-6 0 2616

问题导读 1.本文的背景是什么？ 2.全量分区表如何拉链化？ 3.优化的技术方案发挥了哪些作用？ 01 背景 2020年以来， ...

nettman 2022-6-10 0 2576

本帖最后由 levycui 于 2022-7-13 19:21 编辑 问题导读： 1、对数据湖的需求有哪些？ 2、Apache Hudi是什么？ 3、键生成器 ...

levycui 2022-7-13 1 2572

问题导读： 1、Deltastreamer 终止策略是什么？ 2、在Spark对接方面有哪些优化？ 3、Flink对接方面有哪些优化？ 4、迁移指南 ...

levycui 2022-8-23 0 2490

问题导读： 1、常见的 CDC 分析方案有哪些？ 2、为何选择 Flink + Iceberg？ 3、如何实时写入读取？ 一、常见的 CD ...

fc013 2021-9-3 0 2421

问题导读: 1.模型建设需要哪些工作? 2.熟悉ETL平台吗? 3.你熟悉的非关系数据库有哪些? 好久不写数据中台了，但是我发现大 ...

Mirinda 2021-8-26 0 2251