分享

求大神们介绍下hadoop和spark的优缺点,菜鸟报道,求赐教。

叫我胖哥 发表于 2016-9-24 21:27:43 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 13811
求大神们给小弟介绍一下。hadoop和spark。。。感激不尽。

已有(2)人评论

跳转到指定楼层
arsenduan 发表于 2016-9-25 09:09:37
本帖最后由 arsenduan 于 2016-9-25 09:14 编辑

这个问题比较大一些。作为一名合格的大数据工程师,这两门都是必须学习的。只有在实践的基础上,才能对二者有一个感性的认识。
总体来说:

hadoop是基础,如果大数据入门,可以先学hadoop。
hadoop特点:

1.适合离线数据
更多参考:
spark与hadoop相比,存在哪些缺陷(劣势)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=12083
hadoop使用场景
http://www.aboutyun.com/forum.php?mod=viewthread&tid=5726



2.执行引擎:mapreduce
更多介绍:
Hadoop简介(1):什么是Map/Reduce
http://www.aboutyun.com/forum.php?mod=viewthread&tid=5541



深度了解mapreduce---MapReduce源码分析总结


http://www.aboutyun.com/forum.php?mod=viewthread&tid=7553

3.资源管理器:yarn
更多参考
yarn详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7678

4.使用磁盘
5.处理数据速度慢一些
6.不适合连续二次计算,但是有这方面的功能

spark特点:
1.实时数据
2.执行引擎:DAG
3.可以提交job到yarn
4.使用内存计算
5.处理数据速度快
6.适合多次连续计算,数据转换
回复

使用道具 举报

叫我胖哥 发表于 2016-9-25 16:30:06
arsenduan 发表于 2016-9-25 09:09
这个问题比较大一些。作为一名合格的大数据工程师,这两门都是必须学习的。只有在实践的基础上,才能对二者 ...

感谢。我会从最基础的开始学习。祝工作顺利。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条