三个应用案例——通过大数据挖掘潜在的威胁

导读
大数据是什么？我们可以有多种说法，不同角度也有不同的解释。大数据典型技术hadoop，还有包括后面的storm、spark等这些生态系统技术。其实这些都是微观，作为一个大数据爱好者，你是否知道大数据的意义。
大数据意味着规律
如果你想比较准确的知道什么，你想预测什么？那么大数据是很好的帮手。
大数据可以帮助企业了解客户
大数据可以帮助预测恐怖分子把某些细菌当作武器
可以预知犯罪
可以根据一个人的行为预测其想干什么

大数据、大城市。世界已有不少大都会运用数据分析与算法建立智能城市，改善交通、例如日本东京就把每辆车子都变成精准的「行动数据」，缓解交通堵塞甚至降低死亡车祸的数量。在欧美，从纽约、旧金山、芝加哥到伦敦、阿姆斯特丹，各种藉由搜集大量数据、发现模式、预测未来的项目不断带领城市前进。其中有从正面改善城市风貌的，也有提前一步，遏止未来可能发生的罪行甚至惨案。今天就让我们来看看三种应用案例：

纽约地铁出现大量神秘 DNA

就算没去过纽约，也应该都听说过拥有百年历史的纽约地铁，又脏又臭又阴暗，但是纽约客以及自世界各地来的旅客又都离不开地铁，每天 550 万人搭乘，想必每一座地铁、每一层阶梯、每一列车厢，到处沾满人类陈年积淀的汗渍与污垢。不过，真实情况可能要你大吃一惊，不是没那么脏，而是比我们想象得更奇幻。

康乃尔大学 Weill 医学院的研究者们，花了 18 个月的时间执行了一项大数据项目。他们用鉴识科学常用的棉花棒，在 486 个纽约地铁站搜集目标样本，车厢门、楼梯扶手、座椅、灯杆、垃圾桶都不放过，最后总共发现 1 万 5 千多种微生物，将近一半的样本是人类未知的有机生物，27% 是活性并俱有抗药性的细菌，虽然所有细菌仅有 12% 与疾病相关，还发现了三个与腺鼠疫、炭疽相关样本，但幸而这些样本都没有活性。而与人类的基因组相匹配的只占了不到 2%。

这项研究的主要作者康乃尔医学院遗传学家 Christopher E. Mason 说：「人们望着地铁上的手扶梯时，从来不会有『这上面充满生命』的念头，但是知道这项研究之后，他们可能会开始这么想。不过我想让他们以看待热带雨林的眼光看待地铁，这里有那么多物种，但并没有影响到你的健康，简直让人敬畏和赞叹。」

关于地铁细菌的研究，不只是有趣，也不只是满足了科学家的好奇心，研究者们将把这些物种分门别类，未来就能把它们当作对照样本，确定某些疾病、甚至也可预测未来若恐怖份子把某些细菌当做生物武器攻击的物质，是否已经扩散。

洛杉矶警察的关键报告

电影《关键报告》中，主角靠着拥有预知犯罪者的系统，在罪行真正发生之前，就先把人逮捕到案。

预测性警务软件「PredPol」当然没有科幻到「人」的地步，但也有达成遏止犯罪率的效果了。该团队花了五年时间，收集过去十年的警方数据，并且运用算法分析，预测下一次可能产生犯罪情况的地点。共同创办人 Jeffrey Brantingham 指出，他们基于三个因素测定发生案件的机率：容易滋养犯罪事件的场所(比如过去对斗殴事件睁一只眼闭一只眼的酒吧)、多次受害地区(repeat victimization，比如曾被闯入的门户容易再次被闯入)、受害地区的邻近地区(曾被闯入的门户周遭区域也容易成为下次被下手的目标)，计算出 10-20 个最有可能在警察下一次执勤时发生犯罪的地点。PredPol 宣称，只要警察花 5%-15% 的巡逻时间在划定的红色区域，就能只比依靠自身经验阻止更多犯罪活动。

目前全美共有将近 60 间警局使用 Predpol，每年每间警局必须支付大约 10 万 — 15 万美金的服务费。虽然公部门预算拮据，但投资 PredPol 的第一年，加州 Santa Cruz 闯空门的窃盗案就下降了 11%、抢劫案更减少了 27%。2011 年洛杉矶 Foothill 区开始使用 PredPol，四个月之后犯罪率降低了 13%，其他未未使用 PredPol 的区域微幅多出 0.4%。

洛杉矶警局 Foothill 的警官 Sean Malinowski 说，「我们一直持续使用这套软件，Foothills 也一直都是洛杉矶犯罪率下降最高的区域。我不认为两者之间毫无关联。」

伦敦打击「恶棍交易员」

交易员诈欺导致银行或个人严重损失的新闻时有所闻。过去非法交易只能透过「关键词监测(key word surveillance)」来判断交易员是否涉及渎职，但是 Market Practitioner Panel (MPP)指出，这种方式是有缺陷的。想要揭露失职的交易员，运用大数据技术会是揭露会是更长期而有效的方案。

MPP 建议英国金融机构采取「预测编码(predictive codeing)」的方式，不只能够侦测关键词，还能辨识出交易员非比寻常的行为，像是从非正式的管道如私人信箱、实时通讯、聊天论坛沟通，或者在奇怪的时间离开办公室、强制休假却搞失踪、在组织中所扮演的角色与责任等等。

大数据技术能够非常细微的观测个别交易员的活动，精确建立每位交易员的个人资料与实际操作模式，一有异常就能提前预防，而且能够大规模且实时的分析。除了交易员之外，一般个人当然也得提防。金融诈欺者愈来愈精明、愈来愈猖狂，金融业者势必得施加更大的力道，应用最新的技术，全面整合分析数据，从个人开办帐户开始，就要建立档案并针对交易监控与客户管理保持追踪，检测异常的帐户活动，从而趋吉避凶。

不过，品诚梅森(Pinsent Masons)律师事务所信息保护专家 Kathryn Wynn 提醒，机构需注意别滥用大数据破坏隐私，未审先判。「唯有发现模式(pattern)频繁异常，公司才能进一步做更仔细的监看某位员工的行为与对话。」

Via:华融大数据