levycui 发表于 2022-9-7 18:25:06

Apache Flink Table Store 0.2.0 发布!

问题导读:
1、什么是 Flink Table Store?
2、新版本有哪些显着特点?
3、Append Only是什么?
4、下一步有什么改进?



Apache Flink 社区很高兴地宣布发布 Apache Flink table store(0.2.0)。

请查看完整文档以获取详细信息和用户指南。

什么是 Flink Table Store

Flink Table Store 是一个数据湖存储,用于实时流式更新/删除变更日志摄取和高性能查询。



Flink Table Store 作为一种新型的可更新数据湖,具有以下特点:


[*]    大吞吐量数据摄取,同时提供良好的查询性能。
[*]    具有主键过滤器的高性能查询,最快 100 毫秒。
[*]    Lake Storage 上提供流式读取,Lake Storage 也可以与 Kafka 集成,提供秒级流式读取。


显着特点

在此版本中,我们完成了许多令人兴奋的功能。

目录

此版本引入了表格存储自己的目录,并支持自动同步到 Hive Metastore。

CREATE CATALOG tablestore WITH (
'type'='table-store',
'warehouse'='hdfs://nn:8020/warehouse/path',
-- optional hive metastore
'metastore'='hive',
'uri'='thrift://<hive-metastore-host-name>:<port>'
);

USE CATALOG tablestore;

CREATE TABLE my_table ...

生态系统

在这个版本中,我们提供了对 Flink 1.14 的支持,并为多个计算引擎提供了读取支持。



Append Only

append-only 表特性是一种性能改进,只接受 INSERT_ONLY 数据追加到存储中,而不是对现有数据进行更新或去重,因此适用于不需要更新的用例(例如日志数据同步)。
CREATE TABLE my_table (
    ...
) WITH (
    'write-mode' = 'append-only',
    ...
)
流式写入 Append-only 表也具有异步压缩功能,因此您不必担心小文件。

重新缩放存储桶

由于总桶数对性能有很大影响,表格存储允许用户通过ALTER TABLE命令调整桶数并重新组织必要的分区,旧分区保持不变。

入门

有关详细信息,请参阅入门指南。

下一步是什么?

在即将发布的 0.3.0 版本中,您可以期待以下附加功能:


[*]    Streaming Changelog Concurrent Writes,分离Compaction。
[*]    聚合表,用于构建您的物化视图。
[*]    为部分更新/聚合表生成变更日志。
[*]    Full Schema Evolution 支持删除列和重命名列。
[*]    Flink Dim Join 的查找支持。

请尝试发布,在 Flink 邮件列表中分享您的反馈并为项目做出贡献!

我们鼓励您下载该版本并通过Flink 邮件列表 或JIRA与社区分享您的反馈。

贡献者名单

Apache Flink 社区要感谢使这个版本成为可能的每一位贡献者:

Jane Chan、Jia Liu、Jingsong Lee、liliwei、Nicholas Jiang、openinx、tsreaper


作者:flink.apache.org
来源:https://mp.weixin.qq.com/s/cyYaom7O927tUVyb4T6vAg

最新经典文章,欢迎关注公众号http://www.aboutyun.com/data/attachment/forum/201903/18/215536lzpn7n3u7m7u90vm.jpg

页: [1]
查看完整版本: Apache Flink Table Store 0.2.0 发布!