彻底明白Flink系统学习4:功能点介绍

查看数: 13942 | 评论数: 8 | 收藏 2
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2018-11-22 19:03

正文摘要:

问题导读 1.为什么说Flink是高性能? 2.什么是Flink状态计算? 3.Flink如何实现容错的? 4.Flink为何要内存管理? 5.Flink中流处理和批处理的关系是什么? 关注最新经典文章,欢迎关注公众号 上一篇: ...

回复

金瞳 发表于 2019-12-9 18:24:28
1.为什么说Flink是高性能?
- dataFlow:Operator -> OperatorChain-> JobGraph
- State:状态的保存,增量checkpoint
- Memory:自己管理内存,减少GC次数和时间

2.什么是Flink状态计算?
- 某task/operator在某时刻的一个中间结果,可以通过状态累加,和排序等操作
- 可以存储状态进行恢复

3.Flink如何实现容错的?
- checkpoint,错误就从已经完成的checkpoint恢复状态数据

4.Flink为何要内存管理?
- 避免JVM的内存缺点(OOM,Full GC,对象密度低)
- 二进制操作更高效,缓存操作更友好

5.Flink中流处理和批处理的关系是什么?
- 批处理视为流的特殊情况,批是有界数据,流是无界数据
若无梦何远方 发表于 2019-8-21 16:57:58
wx_rB9jY0e0 发表于 2019-2-15 17:48
p哥,我看到文章里高性能那里只说了一下One-To-One的优化,即SubTask合并,减少数据传输。但是没有提到Shuf ...

没有Shuffer把 JObManager直接将任务发送给TaskSolt  TastSolt中的Task是可以共享JVm的
devilmz 发表于 2019-6-19 16:58:19
感谢分享
huangrong 发表于 2019-5-9 16:37:25
打卡。。。。。
wx_rB9jY0e0 发表于 2019-2-15 17:48:59
p哥,我看到文章里高性能那里只说了一下One-To-One的优化,即SubTask合并,减少数据传输。但是没有提到Shuffle的优化,Flink没有针对Shuffle内置的优化策略吗?
linux_oracle 发表于 2018-11-27 11:19:34
flink系统学习4:功能点~
xiaobaiyang 发表于 2018-11-27 09:44:52

flink系统学习4:功能点~
jiangzi 发表于 2018-11-23 11:23:08
link系统学习4:功能点~
关闭

推荐上一条 /2 下一条