2017年about云03月第01周经典帖子总结

spark学习中遇到的问题记录
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21132
1.spark优化的关键点是什么？
2.spark编译内存不够，该如何增大内存？
3.reduce task数目不合适该如何解决问题？


让你真正明白spark streaming
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21141


Spark为何使用Netty通信框架替代Akka
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21115
1. spark 如何在1.6.0之后使用Netty替代了Akka？
2. Spark Network Common怎么实现？
3. BlockTransfer 与 Shuffle 之间的联系？
4. Akka 实现原理是什么？


spark缓存cache()详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21120
1.你认为缓存的作用是什么？
2.cache与persist的区别是什么？
3.spark如何实现缓存？


spark原理之spark主要模块及作用介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21110
1.spark主要包含哪几个模块？
2.spark各个模块作用是什么？
3.spark通信通过什么框架实现？



Kafka offset存储方式与获取消费实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21104
1、Kafka将消费的offset存储在Kafka的Topic中有何优势？
2、offset存储在Kafka的Topic中实现原理是什么？
3、如何实现获取这部分消费的 offset？



Flume 1.7 源码分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21095
1.如何配置maven获取源码？
2.本文认为flume启动包含哪两个步骤？
3.源码如何实现获取启动配置的？


如何在 Storm 运算节点中使用 J2SE 规则会话的方式调用ODM规则集
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21085

1.什么是Storm?
2.什么是RES？

3.怎样使用基于 J2SE 的规则调用规则集？

资源
about云资源集合
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21103


spark中spark-submit启动流程分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21129


kafka的HA机制
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21118


Docker入门白皮书
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21094





问答：
hbase hash散列后 如何scan 查询？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21143


hive中查询数据，hdfs目录被锁住了
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21136


无意中发现了一个BUG，求解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21127


HDFS的运行原理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21124


hadoop的namenode格式化问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21114


hadoop2.6.4部分数据丢失如何解决
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21113


Sentinel Redis模式下的几个哨兵端口的连接一直增加
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21111


spark dataframe怪异问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21105


spakr on yarn : SparkException
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21099


spark streaming程序运行一段时间挂了，如何自动启动
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21098


Scala中如何获取map中的keys和values值
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21097


kafka小知识总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21096


java转大数据，面试遇到的一些生产环境中问题求解答
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21093


Spark Streaming使用sortByKey报错NullPointerException
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21092