1.为什么说Flink是高性能? - dataFlow:Operator -> OperatorChain-> JobGraph - State:状态的保存,增量checkpoint - Memory:自己管理内存,减少GC次数和时间 2.什么是Flink状态计算? - 某task/operator在某时刻的一个中间结果,可以通过状态累加,和排序等操作 - 可以存储状态进行恢复 3.Flink如何实现容错的? - checkpoint,错误就从已经完成的checkpoint恢复状态数据 4.Flink为何要内存管理? - 避免JVM的内存缺点(OOM,Full GC,对象密度低) - 二进制操作更高效,缓存操作更友好 5.Flink中流处理和批处理的关系是什么? - 批处理视为流的特殊情况,批是有界数据,流是无界数据 |
wx_rB9jY0e0 发表于 2019-2-15 17:48 没有Shuffer把 JObManager直接将任务发送给TaskSolt TastSolt中的Task是可以共享JVm的 |
感谢分享 |
打卡。。。。。 |
p哥,我看到文章里高性能那里只说了一下One-To-One的优化,即SubTask合并,减少数据传输。但是没有提到Shuffle的优化,Flink没有针对Shuffle内置的优化策略吗? |
flink系统学习4:功能点~ |
flink系统学习4:功能点~ |
link系统学习4:功能点~ |