分享大数据可视化的途径

人们预期数据可视化过程会继续发展，也许更多的是艺术和科学的混合，而不是数字计算技术。

显示结果

数据可视化是指以图形或图表格式通过人工或以其他方式组织和显示数据，以使受众能够：

• 更清楚地查看分析结果
• 简化正在使用的数据中的复杂性
• 了解并掌握正在使用的数据制作方法
  

可视化并不是一个新的概念

这种使用图片(排版、色彩、对比度和形状)来传达或理解数据的概念并不是新鲜事物，从17世纪的手工描绘地图和图形到十九世纪初发明的饼图都是这种形式。

如今，计算机可以用来快速处理大量的数据，使可视化更具价值。展望未来，人们可以预期数据可视化过程将会继续发展，也许更多的是一种艺术和科学的混合，而不是数字计算技术。

即时满足

数据可视化演进过程的一个令人兴奋的例子是，业界如何将数据可视化过程转移到生成和发布图表和图形的过程中，供观众进行审查和仔细考虑，从而设定了交互式可视化的期望。

通过交互式的可视化，人们可以更多地使用数据可视化的概念，进一步利用技术让观众与数据交互，为用户提供自助服务能力，以实时(或接近实时)交互式地深入到生成的图片、图表、图形(访问更多或特定的细节)来改变显示的数据(可能是不同的时间框架或事件)以及如何处理和/或呈现(可能选择条形图而不是饼图)。这使可视化更加有效和个性化。

人们可以通过使用数据驱动文档(D3)的典型网络浏览器在各种示例中介绍显示大数据分析结果的主题。D3允许将预先构建的数据可视化应用于数据集。

数据驱动的文件

数据驱动的文档在开放社区中被称为D3。D3是一个采用JavaScript编写的开源库。其目标是允许使用标准网页浏览技术(如HTML或CSS)轻松地处理基于数据的文档。它的附加值是为用户提供全面的功能，而无需自己构建或绑定到某个专用的框架中。

这些库组件为用户提供了优秀的大数据可视化工具和DOM操作的数据驱动方法。 D3的功能风格允许用户重新使用已经构建的库代码模块(或者其他已经构建的代码模块))来添加用户需要或想要(或不想要)的任何特定功能。这就创建了一种可以变得像用户想要的那样强大(或者有时间去做)的手段，为其数据可视化提供一个独特的风格，操纵并使之互动，这正是用户想要或需要的。

仪表板

正如前面所讨论的，事实上人们每天都在收集和积累大量数据，而组织出于各种原因依赖这些信息。

这些数据使用各种报告格式，包括数据仪表板。就像所有的事情一样，人们对于数据仪表板的定义有各种各样的担心。

例如，A.Chiang写道：“仪表板是实现一个或多个目标所需的最重要信息的直观展示。在一个屏幕上合并和排列，以便一目了然地监视信息。”

无论其定义如何，如果设计和建造得当的话，任何仪表板都有能力为受众提供及时而重要的信息，供决策者使用。

仪表盘以相关的、简明的、深思熟虑的方式(不仅仅是工作簿或电子表格中的可视表示的集合)呈现数据是至关重要的。而仪表盘上的数据显示过时和错误，那么由此做出决定可能会导致灾难。

通过仪表板可以演示解决方案的工作示例，而这样的示例基于使用Tableau的实时仪表盘格式，基于大数据分析有效呈现出结果。

Tableau是一种商业智能软件，旨在帮助人们查看和理解数据。Tableau不仅仅是一个代码库，也被认为是一组或一系列交互式数据可视化产品。

Tableau的结构可以使人们能够将来自多个来源的多个数据视图组合到一个高效的仪表板中，从而为数据消费者提供更丰富的见解。Tableau还可以处理各种格式(包括结构化和非结构化)的数据，并且可以处理大数据量(可能是TB字节或PB字节，或数百万或数十亿行代码)，从而将大数据转化为针对目标受众的有价值的可视化结果。

为了解决当今大数据世界的速度问题，人们可以使用Tableau直接连接到本地数据中心和云端的数据源，或者将数据导入快速内存性能。

Tableau的另一个目标是自助服务分析，用户可以通过对话选择数据来提问(实时模式而不是批处理模式)使用简单的点击分析直观地挖掘大数据，并有效地发现数据集或数据集中可能存在的理解和机会。

Tableau提供的一些令人兴奋的功能包括：

• 实时拖放聚类分析
• 交叉数据源加入
• 强大的数据连接器
• 移动启用
• 实时的地区或区域数据探索
  

异常值

异常点是一个与数据中其他观测数据点相距甚远或极大不同的观测点。尽管异常值通常只表示大约1%到5%的数据，但当企业处理大数据时，调查甚至只是查看数据的1%到5%是相当困难的。

调查和决定

人们可以看到，异常值可以被确定为非影响力的或者对数据可视化所要处理的点非常有影响力。

做出这一决定的行为或过程对于企业的分析非常重要，但处理大数据的大容量、多样性和速度也是非常困难的。例如，帮助做出这个决定的一个基本步骤是测定样品的大小，这是一个计算异常值与数据样本大小的主要数学过程，当数据量十分庞大时，这不是一个简单的任务。

人们可以使用Python高效地识别和处理大数据异常值(以及其他一些数据集异常)。Python是一种脚本语言，它非常容易学习，因为它的编码语法非常类似于英语。

Python是2016年9种最受欢迎??的编程语言之一，由Bouwkamp公司提供，Python被列在顶级的按需编程语言中。

Python诞生于1989年，由Guido van Rossum创建，实际上Python的使用非常简单，但业界也认为其功能非常强大，速度快，可以在任何环境中运行。

根据定义描述，“开放源代码Python是世界各地许多公司和机构的生产力，软件质量和可维护性成功公式的一部分。”

业界对利用Python语言进行数据分析和大数据分析的兴趣日益浓厚，而且它是数据科学家日常工作的选择，因为它提供了一个库，实际上是一个标准库(甚至有些专注于大数据，如Pydoop和SciPy)来完成几乎所有人需要或想要处理的数据，包括：

• 自动化
• 建立网站和网页
• 访问和操作数据
• 计算统计
• 创建可视化
• 报告
• 建立预测和解释模型
• 评估额外数据的模型
• 将模型整合到生产系统中
  

最后要说明的是，Python的标准库非常广泛，提供了一系列内置模块来提供对系统功能的访问，以及标准化的解决方案来解决日常编程中出现的许多问题，这是探索处理大数据离群值和相关处理的一个明显选择。

操作智能

操作智能(OI)是一种分析方法，试图通过(通常是机器生成的)操作或事件数据来提供可视性和洞察力，实时运行针对数据流馈送的查询，产生作为操作指令的分析结果，可以通过人工或自动操作(将数据集转化为价值的明确例子)让组织立即执行。

复杂的操作智能(OI)系统还提供了将元数据与数据中发现的某些度量、流程步骤、渠道等相关联的能力。有了这个能力，就很容易获得额外的相关信息，例如，机器生成的操作数据通常都具有唯一的标识符和结果或状态代码。这些代码或标识符对于处理和存储可能是有效的，但是并不总是易于理解。为了使这些数据更具可读性(因此更有价值)，可以将更多用户友好的附加信息与数据结果相关联 – 可能是以状态或事件描述的形式，或者可能是产品名称或机器名称。

一旦了解将基本分析和可视化技术应用于操作大数据的挑战，数据的价值可以更好或更快地实现。人们将运用Splunk智能化操作来展示操作或大数据评估解决方案的工作示例。

那么，什么是Splunk?Splunk开始是一种“Google for Log”文件。它还有更多的功能…它存储所有的日志，并提供非常快速的搜索功能，大致就像Google为互联网做的一样…

Splunk软件是帮助实现隐藏的价值在机器生成的一个很好的工具，使用Splunk，企业可以在一个地方收集、索引、搜索、分析，以及可视化所有数据，从几乎任何地方提供一种整合方法，可以从大量机器数据中组织和提取实时信息。

Splunk将数据存储在文件中，为文件分配索引。 Splunk不需要在后台运行任何数据库软件来实现此目的。Splunk调用这些文件索引器。Splunk可以对任何类型的时间序列数据(具有时间戳的数据)进行索引，使其成为大数据操作智能(OI)解决方案的最佳选择。在数据索引期间，Splunk会根据其标识的时间戳将数据分解为事件。

尽管使用简单的搜索术语(例如机器ID)，Splunk也提供了自己的搜索处理语言(SPL)。 Splunk SPL(将其视为SQL类型)是一种非常强大的工具，用于搜索大数据并对特定场景中的相关内容执行统计操作。

来源：互联网    更多更多大数据资讯尽在网舟科技大数据。