QQ音乐PB级ClickHouse实时数据平台架构演进之路

导语 | OLAP（On-Line Analytical Processing），是数据仓库系统的主要应用形式，帮助分析人员多角度分析数据，挖掘数据价值。本文基于QQ音乐海量大数据实时分析场景，通过QQ音乐与腾讯云EMR产品深度合作的案例解读，还原一个不一样的大数据云端解决方案。

一、背景介绍

QQ音乐是腾讯音乐旗下一款领先的音乐流媒体产品，平台打造了“听、看、玩”的立体泛音乐娱乐生态圈，为累计注册数在8亿以上的用户提供多元化音乐生活体验，畅享平台上超过3000万首歌曲的海量曲库。优质服务的背后，是每天万亿级新增音乐内容和行为数据，PB数据量级的数据计算服务。

海量的数据意味着更高标准的数据分析业务，对于离线分析的时效、实时与近实时的即席实时交互分析，提出了更高的要求。如何通过用户行为以及音乐内容标签数据，深入洞察用户需求，来优化泛音乐内容创作分享生态，为亿万用户带来更优质的音乐体验？是对QQ音乐大数据团队的巨大挑战以及机遇。

腾讯云弹性 MapReduce（EMR），结合云技术和社区开源技术，提供安全、低成本、高可靠、可弹性伸缩的云端泛Hadoop服务。EMR助力构建企业的大数据平台架构，适用于HBase在线业务，数据仓库，实时流式计算等大数据场景。

QQ音乐大数据团队基于业务需求，搭建和优化基于ClickHouse的OLAP实时大数据分析平台，并与腾讯云EMR团队深入场景合作，共建大数据云端解决方案。下文将通过案例解读，深入解析QQ音乐大数据团队OLAP系统架构演进之路，不断发掘音乐数据背后的价值。

二、大数据分析的挑战

早些年在传统离线数仓阶段，QQ音乐使用Hive作为大数据分析的主要工具，对TB至PB级的数据进行分析，但存在着以下的可提升点：


QQ音乐大数据架构技术如何演进？如何实现基于Superset的自助数据分析可视化平台？

可下载文档：
QQ音乐PB级ClickHouse实时数据平台架构演进之路.pdf (1.39 MB, 下载次数: 41)

2020-6-3 17:35 上传

点击文件名下载附件

原文链接：https://mp.weixin.qq.com/s/_pXPDbhqC1B1HQWQQEfAGw

感谢分享