hyj 发表于 2021-3-23 19:32 好的 我大概了解了 后期我会调整性的补充下 数据治理元数据管理 这方面的一些知识 |
若无梦何远方 发表于 2021-3-23 17:56 Atlas 它是用来做元数据管理的实体指的是比如kafka的topic,hbase的表等 本篇文章介绍的是如何让Atlas 实现管理Flink的元数据,因为以前是不支持管理Flink的元数据的。 |
问题: 不是很理解 Atlas 它是用来做元数据管理的吗?实体是什么概念,本篇文章没看懂到底在实现什么功能?? 架构图: Atlas在Hadoop环境中作为独立服务运行。许多Hadoop数据处理和存储服务都包含Atlas附加组件,这些附加组件将服务活动的元数据发布到Kafka消息主题中。 Atlas读取消息并将其存储在JanusGraph中以对实体之间的关系建模。 JanusGraph背后的数据存储区是HBase。 Atlas将搜索索引存储在Solr中,以利用Solr的搜索功能。 |