分享

阿里数据中台维度建模规范、维度模型设计及模型实施方法论

阿里中台的概念,可以说是近些年来的颇为火爆的概念。从十余年前的阿里在内部完成这一过程,并提出了“中台”概念;到后面中台概念逐步被外部接受并在2019年爆火兴起。数据中台爆火背后,既有传统企业转型焦虑的市场东风,又有阿里中台战略示范效应的推波助澜。下图为阿里中台架构(图片来自网络),其内置“大中台、小前台”的战略,其中包含了业务中台和数据中台的双中台配置。
2020-06-16_190756.jpg
从本质上来说,中台概念更多是一种方法论。它来告诉用户如何构建数据化服务体系,包括从数据集成、数据建模、数据开发、数据共享到数据质量、数据治理等。用户可以阿里云或其他中台产品去快速构建,也完全可以自主完成这一过程。本文就尝试从数据建模为切入点,描述如何完成这一过程。文中部分内容来自《阿里中台》一书和阿里云官网文档。

一、数据建模概述

1).建模意义
  •     性能:良好的数据模型能帮助我们快速查询所需要的数据,减少数据的I/O吞吐。
  •     成本:良好的数据模型能极大地减少不必要的数据冗余,也能实现计算结果复用,极大地降低大数据系统中的存储和计算成本。
  •     效率:良好的数据模型能极大地改善用户使用数据的体验,提高使用数据的效率。
  •     质量:良好的数据模型能改善数据统计口径的不一致性,减少数据计算错误的可能性。

2).模型方法论 - OLTP vs OLAP
  •     OLTP系统面向的主要数据操作是随机读写,主要采用满足3NF的实体关系模型存储数据,从而在事务处理中解决数据的冗余和一致性问题
  •     OLAP系统面向的主要数据操作是批量读写,事务处理中的一致性不是OLAP所关注的,其主要关注数据的整合,以及在一次性的复杂大数据查询和处理中的性能,因此它需要采用一些不同的数据建模方法。

3).数仓建模方法论
  •     ER模型
  •     其建模本质是是从全企业的高度设计一个3NF模型,用实体关系(ER)模型描述企业业务,在范式理论上符合3NF。

维度建模规范有哪些内容?如何设计维度模型?

可下载文档:
阿里数据中台维度建模规范、维度模型设计及模型实施方法论.pdf (1.03 MB, 下载次数: 86)

本帖被以下淘专辑推荐:

已有(1)人评论

跳转到指定楼层
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条