Apache Flink Table Store 0.2.0 发布!

问题导读：
1、什么是 Flink Table Store？
2、新版本有哪些显着特点？
3、Append Only是什么？
4、下一步有什么改进？



Apache Flink 社区很高兴地宣布发布 Apache Flink table store（0.2.0）。

请查看完整文档以获取详细信息和用户指南。

什么是 Flink Table Store

Flink Table Store 是一个数据湖存储，用于实时流式更新/删除变更日志摄取和高性能查询。



Flink Table Store 作为一种新型的可更新数据湖，具有以下特点：

•     大吞吐量数据摄取，同时提供良好的查询性能。
•     具有主键过滤器的高性能查询，最快 100 毫秒。
•     Lake Storage 上提供流式读取，Lake Storage 也可以与 Kafka 集成，提供秒级流式读取。
  

显着特点

在此版本中，我们完成了许多令人兴奋的功能。

目录

此版本引入了表格存储自己的目录，并支持自动同步到 Hive Metastore。

CREATE CATALOG tablestore WITH (
  'type'='table-store',
  'warehouse'='hdfs://nn:8020/warehouse/path',
  -- optional hive metastore
  'metastore'='hive',
  'uri'='thrift://<hive-metastore-host-name>:<port>'
);

USE CATALOG tablestore;

CREATE TABLE my_table ...
复制代码

生态系统

在这个版本中，我们提供了对 Flink 1.14 的支持，并为多个计算引擎提供了读取支持。



Append Only

append-only 表特性是一种性能改进，只接受 INSERT_ONLY 数据追加到存储中，而不是对现有数据进行更新或去重，因此适用于不需要更新的用例（例如日志数据同步）。

CREATE TABLE my_table (
    ...
) WITH (
    'write-mode' = 'append-only',
    ...
)
复制代码

流式写入 Append-only 表也具有异步压缩功能，因此您不必担心小文件。

重新缩放存储桶

由于总桶数对性能有很大影响，表格存储允许用户通过ALTER TABLE命令调整桶数并重新组织必要的分区，旧分区保持不变。

入门

有关详细信息，请参阅入门指南。

下一步是什么？

在即将发布的 0.3.0 版本中，您可以期待以下附加功能：

•     Streaming Changelog Concurrent Writes，分离Compaction。
•     聚合表，用于构建您的物化视图。
•     为部分更新/聚合表生成变更日志。
•     Full Schema Evolution 支持删除列和重命名列。
•     Flink Dim Join 的查找支持。
  

请尝试发布，在 Flink 邮件列表中分享您的反馈并为项目做出贡献！

我们鼓励您下载该版本并通过Flink 邮件列表 或JIRA与社区分享您的反馈。

贡献者名单

Apache Flink 社区要感谢使这个版本成为可能的每一位贡献者：

Jane Chan、Jia Liu、Jingsong Lee、liliwei、Nicholas Jiang、openinx、tsreaper


作者：flink.apache.org
来源：https://mp.weixin.qq.com/s/cyYaom7O927tUVyb4T6vAg

最新经典文章，欢迎关注公众号