5G难题–如此多的数据，运营商们如何分析所有的这些？图数仓成为关键技术
问题导读:1.电信业在解决数据问题时遵循那些基本步骤?
2.如果不计成本这些技术体系得以充分利用，在电信领域可以完成那些的数据分析?
3.图谱技术相比于传统数据库具有哪些公认的优势?
知识图谱技术已渐渐成为AI的风口，图数据库也站在了数据库领域的浪尖，AbutionGraph作为世界第一款时序动态图数据仓库（时序+图谱+数仓的一种全新数据库存储架构），来看看在电信领域可带来哪些改变。
在各个行业中，数据的指数增长一直是21世纪开展业务的标志。组织必须找到新的方法来管理其庞大且不断增长的数据存储，同时将其最有价值的资产（即数据）转换为可行的业务洞察。5G的到来进一步放大了数据的重要性，尤其是在电信领域中，移动运营商想要脱颖而出面临着激烈的竞争，同时，物联网、智能设备和新内容平台也让电信公司面临着数据冲击。
5G的到来还意味着随着设备的激增，电信正发现自己处于越来越具有挑战性的地位，因为5G成为企业实现极端数据增长的又一催化剂。同时，这些组织必须处理越来越多的用例场景，每种用例都有自己的不同需求，同时都面临着成功访问和分析其数据宝库的技术障碍。
聪明的移动运营商意识到有必要利用5G无线技术带来的机遇，同时创建新的业务模型，优化网络服务质量，并向其订阅用户推出新的个性化产品和服务。数据的快速增长（如果管理得当）是增加竞争优势和收入的关键。最近的一项研究估计，到2035年，5G技术将成为推动13.1万亿美元商品和服务的推动力。通过实现关键通信，大规模物联网以及更快，更好的宽带，5G将成为改变游戏规则的人，每家企业为了推动业务都需要去适应万物互联的5G数字世界。
5G的巨大数据潜力带来了巨大的商业价值，使这一潜力成为获利现实存在很大的障碍：根据最近的行业估计，最终只能访问和分析组织数据的一小部分。这意味着电信业正在失去可能改变游戏规则的商业机会。这可能出于多种原因：从预算不足到不断堆积在数据库中的历史数据，再到无法执行的运行时间极长的查询（特别是基站数据、大量的用户访问数据），这些数据本身的价值是极低的，需要运营商们充分的进行数据关联和计算分析才能有效的发挥出他们的商业价值。那么，移动运营商可以采取哪些措施来改变这一现状？电信如何利用爆炸性的5G数据获得竞争优势？
一般而言，电信业在解决数据问题时遵循以下基本步骤：
1. 加强反欺诈手段、定位营销和添加新服务，以减少用户流失;
2. 确保每个级别的订阅者计费反映实际使用量和执行利润率分析;
3. 通过优化路由降低成本;
4. 为内容提供商等相邻市场提供分析。
对于人们和企业每天使用的大部分数据，电信公司既是渠道也是纽带。如果要使用这些数据，就需要对这些数据进行分析。电信服务提供商必须同时分析实时数据和历史数据，以便在需要的时候及时了解情况。
为解决众多分析挑战，电信公司已经尝试过多种技术。例如，内存数据库ES等技术可为实时数据提供即时分析，Hadoop等大数据技术可扩展以支持大量历史数据集，而NoSQL数据库（Hbase等）可帮助企业扩展以经济、高效地支持数据激增问题。
但内存数据库成本往往过高，且无法满足电信公司需要分析PB数据的需求，大数据无法支持实时分析，NoSQL数据库缺乏SQL数据库的特性，从而无法提供丰富的分析功能。电信公司拥有大规模的设备，而对于物联网层面的数据监控和分析，以上技术显然无法满足这些高实效的任务，需要增加技术方向来扩展业务，这正是时序数据库（TSDB等）和实时数据仓库（Druid,Kylin等）的结合应用体现。
如果不计成本这些技术体系得以充分利用，在电信领域可以完成很多的数据分析，例如：
1. 为订阅者提供无缝体验，包括基于地理位置帮助优化路由器的分析。
2. 在内容提供者、广告提供商和使用者的应用程序之间快速传递相关数据。
3. 支持服务人员对设备的实时监控，以排查问题，同时允许查看历史模式，以推荐最佳计划或进行升级。
4. 能够实时查看路由数据并优化网络基础设施，从而减少问题。同时还可以检查历史问题，以确定某问题是偶然事件还是基础设施达到设计极限的表现。
一个事实是，电信提供商目前使用许多不同的技术和平台来执行这些分析，由于没有传统解决方案能够满足这些公司的分析需求，也没有一款数据库能同时满足多场景业务，因此大多数公司都在探索新技术，以减少技术体系的维护，但这种方法从长远来看是不可持续的。电信提供商将面临着不断增加的硬件、空间、电力和冷却成本。跨平台管理和集成分析也变得越来越复杂，这样更容易出错且成本高昂。
电信公司必须继续创新以实现两个对立目标：一是收集和分析大量的实时和历史数据，二是减少单独分析平台的数量以控制成本。
为了将数据挑战转化为机遇，大多数电信提供商正在通过研发分析技术进行创新。我们透过图数仓AbutionGraph的技术方案来探寻问题的答案，这一切将得到显著的改善。
AbutionGraph是国内Thutmose公司研发的一款图数仓，也是图数仓的开创者，它将数据仓库、时序数据库和图数据库3个原本互不相关的数据库技术进行了统一，是一款天生的知识库技术、关联搜索引擎，实时的数据分析和物联网数据监控系统。这样一款技术的出现正是电信提供商所需要的，跨平台管理和集成分析且成本高昂的问题得以迎刃而解。
数据仓库想必我们已经多少有些了解，我们来看看图数仓中的“图”能带来那些便利。图即知识图谱，并不是一项新技术，属于AI范畴（神经网络也是一张大型的知识图谱），早在谷歌创立初期就已经存在了，用于网页搜索引擎，它更多是内存计算。而AbutionGraph图数仓中的“图”，我们表现为知识图谱数据的存储，加上时序数据库的特性，即时序动态知识图谱技术，时序知识图谱的研究已被国家科技部纳入未来十年-科技创新2030的发展纲要，从国家战略上可以看出这是一项可以改变世界智能度的科技，显然AbutionGraph已经抢先走在了世界的最前端。
简而言之，图谱技术相比于传统数据库具有一些公认的优势：
1）存取速度最快：万亿级边的图数据库里可以实现毫秒级查询响应。
2）表现力最强：描述真实世界中存在的各种实体，以及他们之间的关系。
3）多层关系检索最快：实时（亚秒）链接遍历（>3层），如获知 我与小李的朋友的朋友是否认识。
4）支持图算法：用户群分等，如：对具有相同上网习惯的用户分群精准营销；快速计算出与小李行为特征最相似的10个人。
5）可视化溯源：天然的解释型结构，可通过图谱可视化了解用户行为习惯，解释算法模型结果。
6）探索业务新方向：基于图谱结构，更方便的发现用户新异常，了解数据整体趋势变化，支持业务决策。
如上图谱模型所示，我们以用户为核心，构建了一张通话及人员关联图谱，可以管理到家中的所有物联网智能设备（为方便理解，可对应到复杂的电信设备网络），同时，我们还可以检测到所有的电信用户的通话行为习惯，这可以帮助内容提供者、广告提供商和使用者的应用程序之间快速传递相关数据。通话关系是AbutionGraph时序边的体现，利用时序的多维用户行为建模，进一步可以帮助打击网络犯罪、分析出网络诈骗团伙的行为特征，减少企业和个人财产损失。
AbutionGraph的出现，能给拥有大规模数据的电信行业带来更多的业务探索可能性，每秒近乎一个亿的实时数据量若构建成一个电信画像网络，使用传统的技术很难把持得住，即使数据已经存储在数据库中，那么数据分析将是一大挑战，查不动、不敢查、关联分析就有可能崩掉，这是我们的客户最真实的反馈。数量多且数据种类丰富是电信公司的一大财富，也是一把双刃剑，提升自身用户服务的同时，便利的通讯工具也给黑产业带来的巨大的利益空间，各种手机/帐号、短信内容（QQ/WX号、URL）诈骗层出不穷。我们使用AbutionGraph可以帮助电信公司有效的打击网络犯罪，它的高时效性可以让风险防范于未然，大规模的实时数据结合历史数据分析变得轻松。
电信除了常见的通话记录，还具有短信、上网日志等等数据，知识图谱具有天然的知识融合性，在AbutionGraph中，每种图谱可独立存储，需要时直接多图关联查询，这是知识融合的特性，我们通过知识图谱建模可以简单清晰的对这些多源数据进行融合分析，发现其中的关联。
可以看到，AbutionGraph的解决方案是市场需求促进产品的创新，它解决的是既往大数据技术的弱项，数据关联和实时多维/多标签的时间序列分析。电信公司是最早部署内存数据库和Hadoop等技术的公司之一，这些技术既可以进行实时和历史数据分析，也可以在硬件和管理复杂性限制的情况下进行扩展，新的技术AbutionGraph可以充分的与这些旧技术结合，比如复用Hadoop系统将数据持久化其中，提供高效数据分析和数据治理方案，再结合AbutionGraph与Flink/Spark的无缝对接接口，无需推翻旧大数据平台即可打造一个高性能的能够满足业务更新迭代的大数据平台。
使用AbutionGraph，并针对业务对电信数据进行知识建模，使电信公司克服三个关键挑战：
1）保持客户忠诚度
利用知识的关联性找到扩展核心服务和跨渠道的方法，以维护客户忠诚度。
2）可靠的数据服务
使用知识图谱分析网络数据以检测和预防网络问题，以提供高质量的数据和通话服务。
3）为物联网的影响做好准备
传统基础架构和数据仓库无法跟上物联网的规模，而只需一款时序动态的图数仓就可以满足。
最后，行业客户表明，目前运营商只能访问和分析其数据的一小部分，由于无法支持指数级的数据增长对传统数据库系统的依赖，电信业留下了深厚的数据积累，这其中的业务洞察足以改变游戏规则。所以数据是电信竞争性武器库中最关键的组成部分之一，而5G的到来将放大其重要性，使用知识图谱+实时数据仓库可以迅速分析其大量电信数据，存储无限的商机。图数仓技术AbutionGraph经过了大规模电信数据的实时分析测试，用来克服技术挑战并成功地将其海量数据存储在企业内部，并发现关键的风险和价值情报，有效的提高运营商数据利用价值。
最新经典文章，欢迎关注公众号http://www.aboutyun.com/data/attachment/forum/201903/18/215536lzpn7n3u7m7u90vm.jpg
原文链接:https://thutmose.blog.csdn.net/article/details/117427352
页:
[1]