美团点评基于 Flink 的实时数仓建设实践

引言

近些年，企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。本文主要阐述使用 Flink 在实际数据生产上的经验。

实时平台初期架构

在实时数据系统建设初期，业务需求也相对较少，还没有形成完整的数据体系。我们采用的是“一路到底”的开发模式：通过在实时计算平台上部署 Storm 作业处理实时数据队列来提取数据指标，直接推送到实时应用服务中。

但是，随着产品和业务人员对实时数据需求的不断增多，新的挑战也随之发生。

• 数据指标越来越多，“烟囱式”的开发导致代码耦合问题严重。
• 需求越来越多，有的需要明细数据，有的需要 OLAP 分析。单一的开发模式难以应付多种需求。
• 缺少完善的监控系统，无法在对业务产生影响之前发现并修复问题。
  
  

更多参考链接

在实时计算平台上部署 Storm 作业处理实时数据队列来提取数据指标，直接推送到实时应用服务中。