2017年about云05月第01周经典帖子总结

kafka权威指南 第一章第1节  【中文版】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21648

1. 为什么数据管道是数据驱动企业的一个关键组成部分？

2. 发布/订阅消息的概念及其重要性是什么？

Kafka权威指南 —— 第一章第2节 初识Kafka
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21652


唯品会消息中间件团队对kafka数据可靠性的深度解读
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21612
1.kafka的体系架构是什么样的？
2.kafka高可靠性的文件存储机制是什么？
3.kafka副本数据的复制和同步原理是什么？
4.kafka如何保证数据可靠性和持久性？
5.kafka集群的leader选举机制是什么样的？
6.如何配置kafka的发送模式？
7.kafka高可靠性的具体实现原理是什么？
8.kafka在不同场景下的benchmark试验表现如何？




spark原理入门详解：包括生态、特点、概念等
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21644

1.Spark的适用场景是什么？

2.spark 运行流程是怎样的？

3.Spark Streaming的运行原理是怎样的？

Apache Spark 内存管理详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21660
1. 堆内和堆外的内存如何规划？
2. 内存空间如何分配？
3. 存储内存如何管理？
4. 执行内存如何管理？


大数据计算框架与平台详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21676

1.为什么需要大数据计算框架？

2.批处理框架有哪些？

3.流计算框架有哪些？

4.交互式分析框架有哪些？

5.有哪些其他的框架？

6.学习资料有哪些？

Spark 2.2中的结构化流处理API处理Kafka数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21667
１、kafka是什么？
２、如何使用spark读取kafka中数据？
３、如何使用spark往kafka中写数据？
4、 如何处理端到端的数据处理管道？



Spark性能调优之-资源调优
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21646
1.spark-submit 命令都有哪些参数可以设置？
2.如何合理设置spark-submit参数从而达到优化spark程序的目的？


利用CNN进行中文垃圾邮件检测详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21642

1.神经网络是什么？

2.如何将CNN运用到文本处理？

3.CNN网络是怎么实现的？

4.怎样实现中文垃圾邮件检测？

机器学习项目中数据预处理与数据整理方法比较
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21635
1. 如何看待数据清洗和特征工程在整个机器学习项目里的位置？
2. Kaggle的Titanic数据集可以有哪些数据清洗和特征工程的例子？
3. 如何使用R或Python进行数据预处理？
4. 如何使用Hadoop或Spark进行数据预处理？
5. 如何使用KNIME和RapidMiner等可视化工具进行数据预处理？
6. 如何使用DataWrangler和Trifacta Wrangler等可视化工具进行数据整理？
7. 如何使用ETL和DQ工具？
8. 如何流式分析数据？


ZooKeeper Watcher机制解析，原理及代码实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21625
1. ZooKeeper Watcher 的工作机制是什么样的?
2. ZooKeeper Watcher 都有什么特性?


Hive事务深度详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21615
1、事务在Hive中是如何实现的？
2、Hive的实现有什么差异的地方？
3、Hive中事务相关场景我们该如何去转换？
4、Hive与传统数据库事务的区别有哪些？


kafka常用命令行统计
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21598
1.如何查看有哪些topic？
2.如何查看topic的详细信息？
3.topic分区通过什么命令添加？
4.本文涉及哪些常用命令？


资源：
Kafka集群文档
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21607



谷歌人工智能学习系统TensorFlow教程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21651



美团点评旅游推荐系统的演进
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21670


人工智能：一种现代方法（第2版）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21662


人工智能入门
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21634


Zookeeper入门到精通
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21626


Storm集群部署详细手册
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21618


Docker实践
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21597


问答：
hive执行命令卡住，求解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21638