Flink1.12支持对接Atlas【使用Atlas收集Flink元数据】

查看数: 6547 | 评论数: 3 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2021-3-22 17:56

正文摘要:

本帖最后由 pig2 于 2021-3-22 18:58 编辑 问题导读 1.Atlas中实体具体指什么? 2.如何为Flink创建Atlas实体类型定义? 3.如何验证元数据收集? 在Cloudera Streaming Analytics中,可以将Flink与Apach ...

回复

若无梦何远方 发表于 2021-3-23 23:23:01
hyj 发表于 2021-3-23 19:32
Atlas 它是用来做元数据管理的实体指的是比如kafka的topic,hbase的表等
本篇文章介绍的是如何让Atlas  ...

好的 我大概了解了 后期我会调整性的补充下 数据治理元数据管理 这方面的一些知识
hyj 发表于 2021-3-23 19:32:13
若无梦何远方 发表于 2021-3-23 17:56
问题: 不是很理解 Atlas 它是用来做元数据管理的吗?实体是什么概念,本篇文章没看懂到底在实现什么功能??
...

Atlas 它是用来做元数据管理的实体指的是比如kafka的topic,hbase的表等
本篇文章介绍的是如何让Atlas 实现管理Flink的元数据,因为以前是不支持管理Flink的元数据的。


若无梦何远方 发表于 2021-3-23 17:56:04
问题: 不是很理解 Atlas 它是用来做元数据管理的吗?实体是什么概念,本篇文章没看懂到底在实现什么功能??
架构图:
Atlas在Hadoop环境中作为独立服务运行。许多Hadoop数据处理和存储服务都包含Atlas附加组件,这些附加组件将服务活动的元数据发布到Kafka消息主题中。 Atlas读取消息并将其存储在JanusGraph中以对实体之间的关系建模。 JanusGraph背后的数据存储区是HBase。 Atlas将搜索索引存储在Solr中,以利用Solr的搜索功能。
关闭

推荐上一条 /2 下一条