盘点大数据分析的十二大杀手锏

盘点大数据分析的十二大杀手锏

2011年11月18日08:41  中国电子商务研究中心 发表评论 电商服务
    当数据以成百上千TB不断增长的时候，我们需要一种独特技术来应对这种前所未有的挑战。

　　大数据分析迎来大时代

　　全球各行各业的组织机构已经意识到，最准确的商务决策来自于事实，而不是凭空臆想。这也就意味着，他们需要在内部交易系统的历史信息之外，采用基于数据分析的决策模型和技术支持。互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论，成为了海量信息的多种形式。



　　极具挑战性的是，传统的数据库部署不能处理数TB数据，也不能很好的支持高级别的数据分析。在过去十几年中，大规模并行处理（MPP）平台和列存储数据库开启了新一轮数据分析史上的革命。而且近年来技术不断发展，我们开始看到，技术升级带来的已知架构之间的界限变得更加模糊。更为重要的是，开始逐步出现了处理半结构化和非结构化信息的NoSQL等平台。




大数据分析迎来大时代
　　本文中，我们将向大家介绍迄今为止，包括EMC的Greenplum、Hadoop和MapReduce等提供大数据分析的产品。此外，惠普前段时间收购实时分析平台Vertica、IBM独立的基于DB2智能分析系统和Netezza的相关产品。当然，也有微软的Parallel Data Warehouse、SAP旗下公司Sybase的Sybase IQ数据仓库分析工具等。下面，就让我们来了解业界大数据分析的这十二大产品：

　　1、模块化EMC Appliance处理多种数据类型



　　2010年EMC收购了Greenplum，随后，利用EMC自身存储硬件和支持复制与备份功能的Greenplum大规模并行处理（MPP）数据库，推出了EMC Greenplum Data Computing Appliance (DCA)。通过与SAS和MapR等合作伙伴，DCA扩大了对Greenplum的数据库支持 。




支持大数据分析的EMC Appliance
　　今年5月，EMC推出了自己的Hadoop软件工具，而且该公司还承诺，今年秋季发布的模块化DCA将支持Greenplum SQL/关系型数据库，Hadoop部署也能在同样的设备上得到支持。借助Hadoop，EMC能够解决诸如网络点击数据、非结构数据等真正大数据分析的困难。模块化的DCA也能够在同样的设备上支持长期保留的高容量的存储模块，从而满足监测需求。

　　第2页：Hadoop和MapReduce提炼大数据

　　2、Hadoop和MapReduce提炼大数据

　　Hadoop是一个开放源码的分布式数据处理系统架构，主要面向存储和处理结构化、半结构化或非结构化、真正意义上的大数据（通常成百上千的TB甚至PB级别数据）应用。网络点击和社交媒体分析应用，正在极大地推动应用需求。Hadoop提供的MapReduce（和其他一些环境）是处理大数据集理想解决方案。



　　MapReduce能将大数据问题分解成多个子问题，将它们分配到成百上千个处理节点之上，然后将结果汇集到一个小数据集当中，从而更容易分析得出最后的结果。




MapReduce结构图
　　Hadoop可以运行在低成本的硬件产品之上，通过扩展可以成为商业存储和数据分析的替代方案。它已经成为很多互联网巨头，比如AOL、eHarmony（美国在线约会网站）、易趣、Facebook、Twitter和Netflix大数据分析的主要解决方案。也有更多传统的巨头公司比如摩根大通银行，也正在考虑采用这一解决方案。

　　3、惠普Vertica电子商务分析



　　今年二月被惠普收购的Vertica，是能提供高效数据存储和快速查询的列存储数据库实时分析平台。相比传统的关系数据库，更低的维护和运营成本，就可以获得更快速的部署、运行和维护。该数据库还支持大规模并行处理（MPP）。在收购之后，惠普随即推出了基于x86硬件的HP Vertica。通过MPP的扩展性可以让Vertica为高端数字营销、电子商务客户（比如AOL、Twitter、 Groupon）分析处理的数据达到PB级。




惠普Vertica实时分析平台
　　其实，早在惠普收购之前，Vertica就推出有包括内存、闪存快速分析等一系列创新产品。它是首个新增Hadoop链接支持客户管理关系型数据的产品之一，也是首个基于云部署风险的产品平台之一。目前，Vertica支持惠普的云服务自动化解决方案。

　　第3页：Infobright减少DBA工作量和查询时间

　　4、IBM提供运维和分析数据仓库

　　去年，IBM推出了基于DB2的Smart Analytic System（图中左侧），那么它为何还要收购另外的Netezza方案平台呢？因为前者是具备高扩展性企业数据仓库的平台，可以支持成千上万的用户和各类应用操作。比如，呼叫中心通常拥有大量的雇员需要快速回拨客户的历史通话记录。Smart Analytic System提供了整合信息的DB2数据库，预配置Cognos BI软件模块，可以在IBM Power System（RISC或者X86架构）上运行。



Smart Analytic System及Netezza
　　Netezza致力于为数字化营销公司、电信、和其他挖掘成百上千TB甚至PB级别数据的公司，提供高可扩展分析应用的解决方案。IBM的Netezza TwinFin数据仓库设备，支持大规模并行处理，可以在一天时间内部署完毕。Netezza支持多种语言和方式进行数据库分析，其中包括Java、C、C++、Python和MapReduce。与此同时，它还支持如SAS，IBM SPSS使用的矩阵操作方法和R编程语言。IBM Netezza最近增加了一个高容量长期存档设备以满足更多要求。

　　5、Infobright减少DBA工作量和查询时间

　　Infobright列存储数据库，旨在为数十TB级别数据提供各类分析服务。而这一块也正是甲骨文和微软SQL Server的核心市场之一。InfoBright还表示，建立在MySQL基础之上的数据库也提供了另外一种选择，它专门针对分析应用、低成本简化劳动力工作、交付高性能的服务进行设计。



　　列存储数据库能够自动创建索引，而且无需进行数据分区和DBA调整。相比传统数据库，它可以减少90%的人工工作量，而且由 于其采用高数据压缩，在数据库许可和存储等方面的开支也可以减少一半。




Knowledge Grid查询引擎
　　InfoBright最新的4.0版本产品，新增了一个DomainExpert的功能。企业用户可以借此忽略不断重复的那些数据，比如邮箱地址 、URL和IP地址。与此同时，公司还可以增加与呼叫记录、业务交易或者地理位置信息相关的数据。Kowledge Grid查询引擎则可以帮助过滤那些静态数据而只关注那些变化的数据。也就是说，它可以帮助节省数据查询的时间，因为那些无关的数据无需进行解压缩和筛选。

　　第4页：Kognitio提供三倍速度和虚拟多维数据集

　　6、Kognitio提供三倍速度和虚拟多维数据集

　　Kognitio是一家本身不生产硬件产品的数据库厂商，它看到了客户对快速部署的广泛兴趣和市场需求，推出了在惠普、IBM硬件产品上预配置有WX2数据库的Lakes、Rivers和Rapids解决方案。



　　Lakes能够以低成本、10TB数据存储和每个模块48个运算核心提供大容量存储服务。电信或金融服务公司，可以使用这种配置来扫描大量的分支结构的各种信息记录。Rivers则提供了容量和速度之间的平衡，预配置为2.5TB存储容量，它的每个模块拥有48个运算核心。而追求查询性能的Rapids，其预配置提供有96个运算核心，每个模块仅仅为1.5TB。该产品方案主要针对金融公司在算法交易或者其他高性能要求方面的需求。




Kognitio基于内存运算的数据仓库和数据分析
　　今年， Kognitio新增了一个虚拟化OLAP风格的Pablo分析引擎。它提供了灵活的、为企业用户进行分析的解决方案。用户可升级选用WX2构建一个虚拟多维数据集。因此，WX2数据库中任何一个维度的数据都可在内存中用于快速分析。这种分析的前端接口是我们常见的Microsoft Excel。

　　7、微软SQL Server新增PDW功能



　　今年年初微软发布的SQL Server R2 Parallel Data Warehouse（PDW，并行数据仓库），一改以往SQL Server部署时间需要花 费两年半时间的历史，它可以帮助客户扩展部署数百TB级别数据的分析解决方案。支持这一产品的包括有合作伙伴惠普的硬件平台。发布之初，虽然微软官网提供有让利折扣，但PDW售价仍超过13000美元/TB（用户和硬件访问量）。




SQL Server PDW
　　和很多产品一样，PDW使用了大规模并行处理来支持高扩展性，但微软进入这一市场实属“姗姗来迟”，而且在一定程度上说，数据仓库分析和内存分析计算市场落下了后腿。目前，微软寄希望于其整体数据库平台在市场上带来的差异化竞争力。这意味着，所有沿袭了基于微软平台的数据和数据管理，将被广泛应用在信息集成领域Reporting and Analysis Services，而这一切都基于SQL Server数据库。

　　微软在今年10月12日通过推出Apache Hadoop和相关的SQL Azure Hadoop服务，宣布进入大数据领域。Azure服务将在2011年底亮相，而相应的本地配套软件要在明年上半年推出，现在也不清楚微软是否会与其他硬件合作伙伴或者相关大数据设备厂商合作。

　　第5页：ParAccel大打MPP、列存储和数据库分析组合拳

　　8、甲骨文讲述Engineered Systems的故事

　　甲骨文表示，Exadata（图中左侧）是迄今以来发布的产品中最为成功的产品，自从2008年推出以来，已经拥有超过1000名客户。而engineered system使得甲骨文11g数据库，可以支持基于X86的数据处理和磁盘存储层，其闪存缓存也使得可以实现超快速查询处理。

　　它既可应用在任意事务环境中，也可以应用在数据仓库（但不能同时进行）。Exadata的混合柱状压缩能够实现列存储数据库的某些高效率特点，提供高达10:1的压缩比，而大部分行存储数据库的平均压缩比为4:1。



　　甲骨文在9月通过宣布Oracle SuperCluster（图中右侧），扩展了engineered systems产品家族。它采用了最新的Sun Sparc T-4芯片。SuperCluster支持全机架/半机架配置，而且用户可以在半机架容量基础上进行扩容。满额配置提供有1200个CPU线程，4TB内存，97TB至198TB磁盘存储，8.66TB闪存。




甲骨文大数据分析系统设施
　　甲骨文声称，SuperCluster事务处理和数据仓库性能相比传统服务器架构能分别带来10倍和50倍速度提升。但作为一个专有的Unix机器，甲骨文想通过SuperCluster，在面向x86硬件的数据仓库部署迁移大潮中力挽狂澜。甲骨文的Exadata和Exalogic都基于x86架构而且运行Linux系统。

　　在十月召开的Oracle OpenWorld中，甲骨文宣布将新增一个分布式pache Hadoop软件和相关的大数据设备。甲骨文也计划推出一个独立的基于开源BerkeleyDB产品的NoSQL。

　　9、ParAccel大打列存储、MPP和数据库分析组合拳



　　ParAccel是ParAccel Analytic Database（PADB）的开发厂商提供快速、选择性查询和列存储数据库，并基于大规模并行处理优势特点的产品。该公式表示，其平台支持一系列针对各种复杂、先进应用的工作负载报告和分析。




ParAccel大数据解决方案
　　内置的分析算法可以为分析师提供高级数学运算、数据统计、和数据挖掘等各种功能，同时，它还提供一个开放的API，可以扩展数据库的各种数据处理能力和第三方分析应用。

　　Table functions被用来传送和接收第三方和采用C、C++等编写的定制算法的数据结果。ParAccel与Fuzzy Logix一家提供各种描述统计学、统计实验模拟和模式识别功能库功能的服务商。此外， Table functions还支持MapReduce和广泛应用在金融服务的700多种分析技术。

　　第6页：Sybase推进IQ列存储数据库

　　10、Sybase推进IQ列存储数据库

　　SAP旗下的Sybase是列存储数据库管理系统的首批厂商，而且目前仍然是拥有2000多个客户的畅销厂商。今年夏天推出了Sybase IQ 15.3版本，该版本产品能够处理更多数据和更多数据类型，也能胜任更多查询，当然这主要得益于其包含了一个名叫PlexQ 的大规模并行处理功能。



　　基于MPP大规模并行处理的PlexQ分布式查询平台，通过将任务分散到网格配置中的多台计算机，加速了高度复杂的查询。有报道说，它能提供比现有的IQ部署快12倍的交付能力。




Sybase IQ
　　为了支持不同的分析，15.3版本的产品增加了分布式处理功能，来执行PlexQ网格中跨CPU的查询服务。为了确保实现最快速度的查询，PlexQ包含了一个逻辑服务器让管理员对PlexQ网格的物理服务器组成虚拟群集，以便优化分析工作负载、用户需求和应用程序。

　　Sybase IQ和其他大多数的支持MPP功能的产品之间区别主要在于，它采用了全共享的方式。全共享的缺点是CPU会争相访问共享存储（通常是SAN），而这会降低查询性能。不过Sybase坚持认为，从优化查询的角度来说全共享会更加灵活，因为所有的CPU 都会访问所有的数据。所以，我们可以对某个特定的查询尽可能多（或者少）地分配计算资源。

　　11、Teradata从EDWs跨入大规模分析领域

　　一旦成为企业级数据仓库（EDW）的宣传者，近年来Teradata就已经放松了扩展Teradata数据库产品家族的步伐。该公司的高性能、高容量产品被广泛采用和复制，因为其中包括了很多企业工作量管理的功能模块，包括虚拟OLAP（三维立体式）分析模型 。



　　Teradata在数据库分析领域不断推陈出新，但在结构化数据、半结构化数据和大部分非结构化数据领域几乎没有很大成果。这也就是为什么该公司要收购Aster Data一家提供SQL-MapReduce框架的公司。MapReduce处理拥有广泛的市场需求，因为存在着大量的互联网点击数据、传感数据和社交媒体内容。




Teradata平台产品家族
　　Teradata日前宣布了一项Aster Data MapReduce产品的计划，它建立在以往产品同样的硬件平台之上，而且在Teradata和Aster Data之间新增了两种集成方法。通过收购，Teradata打破了在数据仓储业被认为最广泛、最具扩展性的界限。

　　第7页：1010data提供基于云计算大数据分析

　　12、1010data提供基于云计算大数据分析

　　正如标题所说，1010data能够提供基于云计算的大数据分析平台。很大数据库平台供应商提供基于云的沙箱测试和开发环境， 但1010data的管理数据库服务，主要针对将整个工作负载迁移到云的全过程。



　　该服务支持一种提供“丰富而又高级的内置分析功能”，其中包括有预测分析。其一大卖点是服务包括了数据建模和设计、信息集成和数据转换。




1010data提供基于云计算大数据分析
　　其客户包括有对冲基金、全球各大银行、证券交易商，零售商和包装消费品公司。

　　何谓大数据？

　　大数据，也就是国外常说的Big Data。IBM把大数据概括成了三个V，即大量化（Volume）、多样化（Variety）和快速化（Velocity）。这些特点也反映了大数据所潜藏的价值（Value），我们也可以认为，四个V高度概括了大数据的基本特征。


　　业界比较一致对大数据的定义是：大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。（来源：中关村在线      编选：中国电子商务研究中

本文转载自中国电子商务研究中心:http://www.100ec.cn/detail--6010318.html

大数据分析面临的障碍

   发布时间：2012-08-27-01:08:37

摘 要：目前，大量企业拥有海量的客户信息，包括在线交易记录及社交媒体数据等。

目前，大量企业拥有海量的客户信息，包括在线交易记录及社交媒体数据等。但是，成功的关键是要能够从不同渠道和来源的数据中洞察价值，而具备收集并分析这些数据能力的企业将在竞争中拥有显著优势。

但是，数据的非结构化已经成为企业的重大挑战。企业已经熟悉收集和分析结构化数据，如传统的销售年报信息。目前，许多企业都困惑于如何收集和分析更多类型的多结构化数据，如网络日志、无线电射频识别（RFID）、传感器网络、社交网络、互联网文本和文件、互联网搜索索引、详细通话记录、医疗记录、摄影档案、视频档案以及电子商务交易数据等。

由于这些数据的结构问题及大数据类型的复杂关联，导致无法应用现有的传统技巧进行大数据分析。这为企业带来了新的任务，需要开发一套全新方法，不仅能够处理传统数据，而且可以便捷地分析和应用这些新兴数据，而不是仅仅进行储存。

迷思一：大数据是针对数据量和数据增长量而言

这种说法并不完全正确。的确，大数据包括海量的以指数速度增长的传统业务数据，也包括web应用、传感器网络、社交网络、基因组、视频、照片等新渠道生成的各种数据。同时，大数据还很复杂，进行收集、储存、管理和分析的难度极大。

目前，两种类型的数据都在不断增长。据IDC集团出版的《2011年十大预测》报告称：“企业正被淹没在信息海洋里，却仍渴望获得更多信息，这也为大数据分析和管理带来了巨大机遇。”该报告指出，企业的愿望终将实现。“全球数据总量（digital universe）将扩张近50%，达到约1.8 泽它字节（约合2万亿Gb）。作为参考，专家们预计1泽它字节相当于长度高达3600万年高清视频文件产生的数据量。”

迷思二：企业应淘汰并更换现有分析系统以应对大数据时代到来

错误，没有必要！建立大数据分析能力需要人才、流程和技术的完美组合。如果企业尚未发掘现有商业智能环境的价值，在启用大数据分析平台前需率先解决该问题。当传统业务数据分析被赋予大数据的视野，才能实现大数据分析的真正价值，带来透明和全面的业务观点，从而创造出业务迅猛发展的机会。

首先，企业应制定计划，明确应用大数据分析要达成的业务目标。依据这些目标，企业应部署适用的硬件和软件以应对挑战。根据一线员工的需求部署商业智能解决方案，帮助他们做出最佳决策。在采用正确的技术支持后，企业用户和数据科学家能够迅速收集和分析新的数据源，发掘业务需要的洞察力。

迷思三：大数据只对谷歌、Facebook和亚马逊这样的高科技公司才有意义

无论是互联网公司、财富500强、或者小型企业，都与大数据的爆炸式增长息息相关。无论所在行业或企业规模，数据分析已经成为当前重要的业务需求。现今，在企业运营中若无法从业务数据中获得真正的洞察，是绝不可行。全球主要市场的企业正在实现新一代高级分析应用的转型，通过全新方式应用海量的传统数据和新型数据，提供更深入、更智慧的洞察力。而且，企业的竞争优势取决于在商业环境中管理和分析所有关键数据的能力，以及帮助企业做出最佳决策的洞察力。

迷思四：数据科学家和大数据分析是2012年的IT界时尚

大数据分析绝非一时狂热，这点毋庸置疑。正如O'Reilly Media创始人Tim O'Reilly所言：“我们正在开创迷人的数据驱动应用新世界，这是一个任由我们塑造的世界 。”目前，数据科学家已经成为独立的职业，奋战在塑造这个商业新世界的最前线，精通数据的专家将成为新时代中的重要成员。

数据科学家必须对数据充满好奇，拥有专心钻研的态度，积极进取并善于批判性思考。他们具有对业务流程的深刻理解，同时融合数学、统计学，以及使用Excel、SQL和分析工作台等技能。目前，市场对拥有技术能力及商业意识的专业人才需求量巨大。

迷思五：大数据的价值取决于Hadoop及同类软件的技术处理能力

没有任何单一技术能够满足所有需求。根据企业努力解决的业务问题，建立大数据分析能力需要人才、流程和各种技术的完美组合，而最关键的是释放这些数据的商业价值。这将需要复杂的分析应用，其中包括数字营销优化、欺诈侦测和预防，以及和社交网络分析等。

Hadoop在大数据技术库中拥有一定价值及重要位置。Hadoop既是框架，更是实现多结构数据过滤、转化及整合的优异平台，类似于未搭载引擎或车身的跑车底盘。采用这种架构，Hadoop可以支持迭代及实时数据探索和分析，快速发现新数据及数据的变化模式。

成功的关键

成功的关键在于能够整合企业既有传统业务数据和新型数据。通过开放访问整个企业生态系统并整合各种来源的数据，企业可以应用大数据分析对客户进行超级全面的分析，进一步改善客户服务和销售业绩。

不错 努力学习