搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
技术学习(版主发帖区)
›
大数据学习
›
概念型
›
大数据词汇解释--白话数据挖掘、大数据、OLAP、数据统计 ...
0
2
2
分享
大数据词汇解释--白话数据挖掘、大数据、OLAP、数据统计的区别
hero1122
2017-7-24 17:22:39
发表于
概念型
[显示全部楼层]
只看大图
阅读模式
关闭右栏
2
8544
本帖最后由 hero1122 于 2017-7-24 18:01 编辑
问题导读:
1.大数据、数据分析、数据统计、数据挖掘、OLAP这些专业词汇的区别是什么?
2.大数据、数据分析、数据统计、数据挖掘、OLAP分别指的是什么意思?
在大数据领域里,经常会看到例如数据挖掘、OLAP、数据分析等等的专业词汇。如果仅仅从字面上,我们很难说清楚每个词汇的意义和区别。今天,我们就来通过一些大数据在高校应用的例子,来为大家说明白—数据挖掘、大数据、OLAP、数据统计的区别。
一、数据分析
数据分析是一个大的概念,理论上任何对数据进行计算、处理从而得出一些有意义的结论的过程,都叫数据分析。从数据本身的复杂程度、以及对数据进行处理的复杂度和深度来看,可以把数据分析分为以下4个层次:数据统计,OLAP,数据挖掘,大数据。
二、数据统计
数据统计是最基本、最传统的数据分析,自古有之。是指通过统计学方法对数据进行排序、筛选、运算、统计等处理,从而得出一些有意义的结论。
举例,对全年级学生按照平均成绩从高到低排序,前10%的学生可以获得申请研究生免试资格。
传统的查询和报表工具是告诉你数据库中有什么(What happened)
三、OLAP
联机分析处理(On-Line Analytical Processing,OLAP)是指基于数据仓库的在线多维统计分析。它允许用户在线地从多个维度观察某个度量值,从而为决策提供支持。
举例,学校招生时要决定今年在江苏的招生指标,不能简单地参照去年的计划,而是要参考多个维度的数据积累。学校要在这些数据的支持下做出合理的决策。
OLAP更进一步告诉你下一步会怎么样(What next),如果我采取这样的措施又会怎么样(What if)
四、数据挖掘
数据挖掘是指从海量数据中找到人们未知的、可能有用的、隐藏的规则,可以通过关联分析、聚类分析、时序分析等各种算法发现一些无法通过观察图表得出的深层次原因。
举例,学校发现高等数学等主干课的不及格率有逐年上升的趋势,一般认为是学习不认真所致,但做了很多工作效果并不明县,这时通过数据挖掘……
针对此可以采取有针对性的管理措施。
五、大数据
大数据是指用现有的计算机软硬件设施难以采集、存储、管理、分析和使用的超大规模的数据集。大数据具有规模大、种类杂、快速化、价值密度低等特点(4V特性)。大数据的“大”是一个相对概念,没有具体标准,如果一定要给一个标准,那么10-100TB通常称为大数据的门槛。
总结
从数据分析的角度来看,目前绝大多数学校的数据应用产品都还处在数据统计和报表分析的阶段,能够实现有效的OLAP分析与数据挖掘的还很少,而能够达到大数据应用阶段的非常少,至少还没有用过有效的大数据集。
点评:
我们不需要纠结所谓的“专业名词”,作为一个数据分析师,我们的目标是帮助业务更好的发展、减少决策的风险、提取重要的信息,所以业务的套路和理解才是我们的立足之本,数据分析毕竟是我们达成某种目标的工具,疗效才是对我们更深层次的验证。
转自:
http://bigdata.evget.com/post/976.html
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(2)人评论
电梯直达
正序浏览
美丽天空
发表于 2017-7-25 09:02:49
感谢分享
回复
使用道具
举报
显身卡
aaronping
发表于 2017-7-26 10:02:57
涨知识了,谢谢分享
回复
使用道具
举报
显身卡
还有一些帖子被系统自动隐藏,点此展开
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
最佳新人
积极上进,爱好学习
热心会员
经常帮助其他会员答疑
发表新帖
hero1122
中级会员
关注
19
主题
45
帖子
13
粉丝
TA的主题
spark mllib 入门学习(三)--线性回归
2017-8-21
spark mllib 入门学习(二)--LDA文档主题模型
2017-7-31
大数据词汇解释--白话数据挖掘、大数据、OLAP、数据统计的区别
2017-7-24
spark mllib 入门学习(一)--聚类算法
2017-7-17
Flink架构和执行拓扑结构介绍
2017-7-10
24小时热文
像高手一样发言:七种常见工作场景的说话之
副业警钟,新型法律碰瓷发财方式:批量诉讼
Spark机器学习
Spark机器学习算法、源码及实战详解
《深度实践Spark机器学习(吴茂贵)》高清
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈