腾讯游戏应用数据资产管理的实践

问题导读
1.腾讯游戏每日传输量是多少条，多大？
2.腾讯在游戏大数据管控中，面临着哪些问题与痛点？
3.腾讯数据采集架构包含哪些内容?


本文是由来自腾讯的陈才进行的分享。作者专注数据资产管理，自动化运维，AIOps。

腾讯游戏大数据运营概况



每日传输量：17000亿条，约260TB，总存储量为100PB+，公司占比为20%。

在游戏大数据管控中，面临着众多问题与痛点：

• 数据多样化，缺少统一标准
  

• 计算逻辑理解一不致，导致统计结果有偏差
  

• 数据全链路质量问题，层次复杂、不能快速定位问题
  

• 游戏数据管控的问题与难点
  

• 数据质量偏低给数据应用带来的各种挑战
  

• 数据标准缺乏结构化管理，集成困难
  

• 数据分散，没有形成完整的成本管理
  

• 数据价值的评估较为困难
  

• 数据安全与合规保障的问题
  

历经6年在各阶段解决的关键问题，构建游戏大数据资产管理体系：


通过组织、流程、制度、技术等组合手段，确保数据交付的质量、效率、成本和安全，助力业务数据价值提升。

游戏大数据资产管理体系

元数据管理

• 异构适配，集中存储
• 业务指标，开放共享
• 描述数据，理解业务
• 自动构建血缘关系链
• 扩展能力，辅助运营
  

数据采集架构

• 单机： UDP：5W qps; KCP: 9w; TCP:10w
• 单机吞吐量：180Mbps
• 分布式高可用，双方扩容互不耦合
• 高可用，高可靠：扩容不丢失数据；WAL双备数据
• 完整率: 99.99~99.9999%
• 多协议支持；多数据格式支持
• 专业数据管理、数据运维
• 周边系统完善支持
  

数据标准管理




数据治理面临挑战

数据服务运营质量面临三大挑战：

• 全链路数据服务环节众多复杂，问题定位困难
• 业务服务故障，回溯数据问题非常困难
• 数据平台异常，如何快速评估影响面
  

解决方案：基于数据+业务血缘构建全链路质量保障体系





数据治理-血缘构建

数据与业务血缘关系链构建过程:





数据治理-血缘应用效果

• 构建数据与业务血缘，保障数据全链路服务质量SLA达99.99+%
• 1min内告警并评估影响面和问题快速定位
  

资产运营-成本管理



资产运营-数据生命周期管理

无数据生命周期管理会出现：

• 数据无序增长
• 成本快速上升
• 计算效率低下
• 数据维护困难
  

数据驱动-数据价值评估

实施数据价值评估的意义

衡量业务的投入产出比
衡量数据发挥的作用
为产品提供运营决策依据
衡量数据服务平台能力水平

数据价值评估的难点
行业内无统一标准和方法
公司内缺乏可量化的估值体系
数据价值存场景化差异性
数据价值评估：

投入产出比ROI计算
结合数据成本与价值，计算数据服务平台投入产出比，为市场化数据管理运营提供直接依据

推动数据成本优化
减少投入，推动业务方实施数据服务成本优化

数据深度挖掘到精细化场景落地
放大价值，横向对比同类产品，协助业务方结合数据服务，发掘更多业务服务场景



数据资产管理实践步骤


总结：







原文链接
https://zhuanlan.zhihu.com/p/89560161

感谢分享