about云每日一读汇总（第29篇2018.11.01）

about云每日一读汇总（第一篇）

about云每日一读汇总（第二篇）

about云每日一读汇总（第三篇2014.10.20）

about云每日一读汇总（第四篇2014.12.10）

about云每日一读汇总（第五篇2015.01.01）

about云每日一读汇总（第六篇2015.02.01）

about云每日一读汇总（第七篇2015.03.01）

about云每日一读汇总（第八篇2015.05.01）

about云每日一读汇总（第九篇2015.06.21）

about云每日一读汇总（第十篇2015.09.01）

about云每日一读汇总（第十一篇2015.11.14）

about云每日一读汇总（第十二篇2016.01.01）

about云每日一读汇总（第十三篇2016.04.01）

about云每日一读汇总（第十四篇2016.05.16）

about云每日一读汇总（第十五篇2016.07.18）

about云每日一读汇总（第十六篇2016.10.18）

about云每日一读汇总（第十七篇2016.12.05）

about云每日一读汇总（第十八篇2017.01.05）

about云每日一读汇总（第19篇2017.03.24）

about云每日一读汇总（第20篇2017.06.01）

about云每日一读汇总（第21篇2017.08.01）

about云每日一读汇总（第22篇2017.09.30）

about云每日一读汇总（第23篇2017.12.08）

about云每日一读汇总（第24篇2018.01.02）

about云每日一读汇总（第25篇2018.03.21）

about云每日一读汇总（第26篇2018.05.01）

about云每日一读汇总（第27篇2018.07.02）

about云每日一读汇总（第28篇2018.09.03）

关注最新经典文章，欢迎关注公众号

about云2018年12月29日每日一读


Spark 高级分析:第十章第3节 Parquet格式与列式存储
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26548
1.什么是Parquet？
2.Parquet底层原理是什么？
3.如何定义使用谓词类？


文档：
Hadoop性能调优与运维
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26551


HDP2.3安装文档
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26552



about云2018年12月28日每日一读


彻底明白Flink系统学习16：【Flink1.7】DataSet 编程之Data Sinks详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26546
1.DataSet 有哪些内置Sink？
2.Flink Sink的作用是什么？
3.DataSet 输出数据如何实现本地排序?
4.Sink是否支持全局排序？


文档：
大数据行业商业模式与建模2018-12-25
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26544


应用预测建模中文
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26545




about云2018年12月27日每日一读


彻底明白Flink系统学习15：【Flink1.7】DataSet 编程之Data Sources详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26540
1.Flink如何获取各种不同格式的文件，转换为dataset？
2.Flink sources有哪些类型？
3.Flink是否可以读取压缩文件?
4.Flink读取压缩文件有什么缺点？
5.Flink如何遍历读取目录中的文件？



文档：
ClickHouse多文档汇总：迁移到ClickHouse实用指南等
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26541


书籍：
程序员的数学 2 概率统计 ,平冈和幸，（日）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26538



about云2018年12月26日每日一读


安装配置：
一步步实践在Redhat7.4系统安装CDH6.1 Hadoop集群
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26534
1、集群安全前置准备有哪些？
2、如何安装外部数据MySQL？
3、如何安装Cloudera Manager？
4、如何安装CDH集群？

书籍：
Kubernetes实战
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26536

大数据算法.王宏志(详细书签)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26535



about云2018年12月25日每日一读


彻底明白Flink系统学习14：【Flink1.7】DataSet 编程之Transformations详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26531
1.DataSet与 Datastream Transformations 都有哪些API？
2.DataSet MapPartition的作用是什么？
3.ReduceGroup与Reduce有什么区别？
4.Join Hints是什么？
5.Flink是否所有外部联接类型都支持所有执行策略？
6.CoGroup与join的区别是什么？
7.Cross使用需要注意什么？
8.Range-Partition可以解决什么问题？


Flink中cogroup, join和coflatmap比较
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26532
1.Flink 双数据流转换为单数据流操作有哪些？
2.cogroup, join和coflatmap各自完成什么事情？
3.cogroup, join和coflatmap区别是什么？



文档：
区块链的应用【2018年11月】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26530


书籍：
机器视觉【王亮、蒋欣蓝】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26529


疑问解答：
hive decode函数使用例子给一个？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26528




about云2018年12月24日每日一读


Spark 高级分析:第十章第2节用ADAM CLI摄取基因组学数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26522
1.什么是ADAM？
2.如何使用ADAM？
3.如何分析结果？


CDH6.1 版本发布：新功能详细介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26524

1.CDH6.1有哪些新功能？

2.CDH免费版限制多少个节点？

3.CDH6.1有哪些细粒度权限？

书籍：
动手学深度学习
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26525


spark优化详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26526



about云2018年12月21日每日一读


彻底明白Hadoop map和reduce的个数决定因素【白话】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26518
1.Hadoop 设置map的个数后为什么不生效？
2.map的个数有什么来决定？
3.如何确定分片的大小？
4.reduce个数该如何设置？
5.reduce个数由什么来决定？



文档：
Hive优化
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26516


书籍：
Hadoop大数据处理 (刘军著)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26517




about云2018年12月20日每日一读


彻底明白Flink系统学习13：【Flink1.7】流连接器介绍及如何添加连接器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26512
1.Flink有哪些内置连接器？
2.Flink二进制发布包中是否直接可以使用连接器？
3.如何才能添加连接器？
4.连接器使用有那两种方式添加？
5.连接器添加jar包的方式，如何才能生效？


文档：
共享单车服务系统研究与大数据处理【吕丹】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26514


hive微博项目及解析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26513



about云2018年12月19日每日一读


阿里AnalyticDB数据仓库实现海量数据实时分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26503
1、AnalyticDB整体架构有哪些组件？
2、AnalyticDB有哪些核心技术？
3、玄武存储引擎有哪些优点？
4、羲和计算引擎是什么？


文档：
阿里巴巴大牛讲解技术汇总【七文档】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26508


机器学习基础教程【价值50块钱】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26507


问答：
flume1.8是否可以监听的同时打印此时监听的精准时间
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26505


方案探讨：
Yarn配置：如何指定物理CPU核心数
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26504




about云2018年12月18日每日一读


彻底明白Flink系统学习12：【Flink1.7】如何控制流物理分区
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26497
1.如何实现Flink流分区？
2.对于数据倾斜，该使用什么函数实现数据均衡？
3.Rescaling与rebalance有什么区别？



如何利用业余时间，掌握数据分析硬技能【课程】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26498


文档：
HBase性能优化方法总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26500

某集团大数据平台整体方案建议书
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26499



about云2018年12月17日每日一读


连载：
Spark 高级分析:第十章第1节 解耦存储与建模
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26490
1.本章主要目的有哪些？
2.什么是Avro？
3.现有的RPC框架有哪些？有何异同？


职业指导：
三大思维成就优秀工程师，你具备哪些？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26493


书籍：
Python数据科学导论  概念、技术与应用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26494


文档：
大数据平台运维架构实践
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26495




about云2018年12月14日每日一读

连载型：
彻底明白Flink系统学习11：【Flink1.7】事件时间、处理时间、提取时间有什么区别
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26488
1.事件时间、处理时间、提取时间的顺序是什么？
2.事件时间为何需要水印？
3.处理时间是否提取的当前系统的时间？
4.数据到达Flink的时间是什么时间？


书籍：
大数据架构详解：从数据获取到深度学习
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26486


深入理解Java虚拟机_JVM高级特性与最佳实践 第2版
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26485



about云2018年12月13日每日一读


连载：
彻底明白Flink系统学习10：窗口生命周期、Keyed和非Keyed及分配器诠释
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26483
1.窗口是什么时候开始创建的？
2.窗口删除是什么时候？
3.如何延迟窗口删除？
4.Keyed和Non-Keyed Windows有什么不同？
5.在所有的窗口中，哪一个窗口是不基于时间的？


领取100本书+1T资源
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26480


文档：
亿级大数据实时分析之旅
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26481


书籍：
深入理解OpenStack Neutron
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26482





about云2018年12月12日每日一读


连载型：
TensorFlow ML cookbook 第六章2、3节 运行门和激活功能、实现单层神经网络
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26476
1、如何创建两个具有相同结构的单层神经网络？
2、如何声明两个模型参数？
3、如何设置迭代次数和激活函数？
4、如何理解完全连接的神经网络？



文档：
HBaseRowKey与索引设计
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26473


Hive数据仓库全流程开发
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26474


组件下载：
springboot mybatis phoenix链接测试
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26477


疑问解答：
flume1.8是否可以解决多级目录检索
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26472





about云2018年12月11日每日一读


彻底明白Flink系统学习9：【Flink1.7编程】数据流Transformations介绍2窗口及相关操作
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26469
1.为何产生window窗口计算？
2.你认为什么情况下使用Window Apply？
3.Window Fold可以用来做什么？
4.window 流是否可以union和join？
5.DataStream是否可以split？



书籍：
拥抱大数据新常态下的数据分析典型案例 [李倩青，王震 著] 2015年版
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26467


Elasticsearch技术解析与实战-高清版
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26466



about云2018年12月10日每日一读


连载型：
Spark 高级分析:第九章第10,11节 返回值分布可视化和结果评估
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26457
1.如何将返回结果可视化？
2.如何对结果进行评估？
3.蒙特卡洛风险模拟可以用来做什么？



使用SQL Developer客户端访问Kerberos环境下的Hive
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26459

1.怎样安装Kerberos客户端？

2.怎样用LDAP方式访问Hive？

3.怎样用Kerberos方式访问Hive？

文档：

Hive权限设置说明文档

http://www.aboutyun.com/forum.php?mod=viewthread&tid=26462

神经网络与深度学习

http://www.aboutyun.com/forum.php?mod=viewthread&tid=26463

about云2018年12月07日每日一读


机器学习逻辑回归详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26452
1.什么是逻辑回归？
2.如何处理因变量取值离散的情况？
3.如何求解w、b？
4.逻辑回归有哪些用途？


实践型：
计算订单明细中那些组合商品更受欢迎
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26451


小知识点：
什么是DAPP
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26453



文档：
阿里巴巴java开发手册
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26455


书籍：
Hadoop数据仓库实践
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26454







about云2018年12月06日每日一读


连载：
彻底明白Flink系统学习8：【Flink1.7编程基础】DataStream Transformations介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26445
1.Flink中Map函数和FlatMap函数有什么区别?
2.如何生成KeyedStream？
3.KeyedStream如何转换为DataStream ？
4.min和minBy之间的差异是什么？


疑问解答：
Spark2.3/2.4可以直接使用hive2/3的元数据吗，是否需要重新编译
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26442


impala不用rpm如何安装
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26449



文档：
Windows-10-编译-hadoop详细步骤
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26446


Flink实践
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26447


区块链3.0共识蓝皮书
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26448




about云2018年12月05日每日一读


论实时推荐算法在阿里百亿特征上的应用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26439
1、弹性改造及优势有哪些？
2、如何进行离线训练优化？
3、如何理解特征动态增删技术？
4、如何理解模型压缩和稳定性？



名企资源：
华为大数据介绍-江苏
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26438


文档：
CDH开启Kerberos+Sentry权限控制-实施配置指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26437



about云2018年12月04日每日一读


彻底明白Flink系统学习7：【最新基于Flink1.7】使用DataStream API进行数据处理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26434
1.流处理和批处理分别入口是什么？
2.对于本地和远程运行程序，都可以使用哪个函数？
3.Flink数据源分为哪两类？
4.Flink DataStream和DataSet source都是基于什么格式？
5.Flink中kafka source是否为自定义？

书籍：
spark权威指南(基于spark 2)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26432

文档：
区块链知识 - 智能合约（普及篇）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26431

疑问解答：
cdh hbase经常报告slow read
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26430

异常错误：
dashboard无法删除云主机，指令也删不掉
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26429



about云2018年12月03日每日一读


版本说明：
Flink1.7稳定版本发布：新增功能介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26424
1.Flink1.7开始支持Scala哪个版本？
2.Flink1.7状态演变在实际生产中有什么好处？
3.Streaming SQL支持MATCH_RECOGNIZE有什么好处？
4.支持Flink SQL / Table API中的富集连接可以做那些事情？
5.Flink1.7新增了哪些连接器？


实操演练：
DBeaver实战之访问Kerberos环境下的Hive
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26425

1.如何使用DBeaver访问Kerberos环境下的Hive？

2.怎样配置Kerberos环境变量？

3.怎样配置DBeaver？

连载：
Spark 高级分析:第九章第8,9节 多元正态分布和试验
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26422
1.什么是多元正态分布？
2.将多元正态分布拟合到我们的数据中需要做什么？
3.如何进行数据试验？


文档：
阿里双十一技术
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26427


书籍：
大数据Spark企业级实战版【813页】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26426



about云2018年11月30日每日一读


总结型：
HIVE生产环境优化措施总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26420
1.如何开启Fetch？
2.哪些情况下，hive执行不使用MapReduce？
3.本地模式适用于什么情况？
4.小表与大表新版本是否需要优化？
5.大表与大表空值比较多该如何优化？
6.如何在Map端join？
7.动态分区的作用是什么？
8.数据倾斜有哪些措施？
9.严格模式你认为什么情况下会用到？

实践型：
RPM命令失效该如何解决
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26419

名企资源：
华为金融大数据解决方案汇报V2.0
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26418

文档：
ClickHouse中文文档【334页】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26417

异常错误：
mapreduce执行自带的wordcount例子报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26415





about云2018年11月29日每日一读

彻底明白Flink系统学习6：Flink最全最详细集群安装【带有各种说明】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26396
1.ssh安装需要注意什么问题？
2.Flink集群配置文件是哪个？
3.Flink常用配置参数的含义是什么？
4.如何具体配置某个taskmanager的内存？
5.如何指定taskmanager？
6.如何指定nodemanager？
7.如何启动集群？


实操演练：
应用shell脚本处理hadoop中FsImage小文件
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26405
1、Hadoop集群大量小文件对集群造成什么影响？
2、如何使用hdfs oiv命令解析FsImage文件？
3、如何使用FsImage分析脚本处理小文件？
4、如何使用Sqoop抽取MySQL中Hive元数据表数据到Hive？


实践型：
虚拟机VMware12中Linux（centos7）网卡地址相同遇到问题总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26409



书籍资源：
Java 核心技术 第10版（卷一中文版+英文版）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26406


Java 核心技术 第10版高级特性（卷II中文版+英文版）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26407


疑问解答：
求助，zeppelin 数据查询异常
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26410


异常错误：
sqoop导入数据问题求助
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26411




about云2018年11月27日每日一读


彻底明白Flink系统学习5：window、Linux本地安装Flink
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26393
1.如何在window下安装Flink?
2.Flink本地安装启动命令与原先版本有什么区别?
3.window和Linux本地启动命令有什么区别？
4.如何查看Flink web ui?


集群安装准备工作：Hadoop、Spark、Flink等
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26395
1.网络配置你认为集群是否都需要?
2.为何集群安装都需要配置ssh?
3.java为何 要安装？


书籍：
趣学算法【孙小玉】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26397



about云2018年11月26日每日一读

实操演练：
通过实践验证HDFS纠删码的机架感知策略
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26389

1.什么情况下不建议对小文件使用纠删码策略？

2.怎样进行机架容错？

3.如何根据文件大小以及纠删码策略计算block group数量以及每个block的大小？

连载：
Spark 高级分析:第九章第6,7节 权重因子的确定和数据抽样
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26386
1.如何确定权重因子？
2.如何拟合线性模型？
3.如何进行数据抽样？


书籍：
程序员健康指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26391


Bloom Filter文档汇总【算法】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26390



about云2018年11月23日每日一读


彻底明白Flink系统学习4：功能点介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26377
1.为什么说Flink是高性能？
2.什么是Flink状态计算?
3.Flink如何实现容错的？
4.Flink为何要内存管理？
5.Flink中流处理和批处理的关系是什么？

OpenCV 4.0正式发布！
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26373
1.学习OpenCV是从新版本学习，还是从旧版本学习？
2.OpenCV优化了持久层，可以做哪些事情？
3.OpenCV介绍了哪些新特性？
4.OpenCV有哪些新模块？

外站经典：
Flink实战教程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26378


文档：
CDH集群安装部署运维手册
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26380


Flink文档【sql、IO、事件时间处理和Watermarks】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26379



异常错误：
已经一周勒，网上看帖子都没能解决，求大神指点
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26382


疑问解答：
hive查询结果完成后，am一直running
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26381

hive on spark 的资源调度问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26375

方案探讨
MapReduce里面自定义的InputFormat重写isSplitable()
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26376



about云2018年11月22日每日一读


彻底明白Flink系统学习3：编程知识之Flink程序结构
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26371
1.Flink程序结是什么结构？
2.Flink中source，sink分别是什么意思？
2.Flink数据源有哪些？
3.如何自定义Flink数据源?
4.Flink如何定义Sink？


书籍：
Hadoop应用架构
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26368


面试题汇总：
大数据面试题汇总
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26367



about云2018年11月21日每日一读


连载：
TensorFlow ML cookbook 第六章1节 神经网络-实施操作入门
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26359
1、什么是神经网络？
2、什么是神经网络重要的特性？
3、如何实现简单的神经网络？
4、优化算法如何声明为标准梯度下降？


书籍：
Redis开发与运维(完整版)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26363


组件下载：
win10系统编译好的hadoop源码【Hadoop2.7.1】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26364


异常错误：
secure DataNode无法启动
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26361



about云2018年11月20日每日一读


彻底明白Flink系统学习2：Flink分布式执行包括调度、通信机制、检查点等
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26357
1.Flink提交到运行程序涉及哪些进程？
2.Flink slot是什么？
3.Job客户端是不是Flink内部部分，它的作用是什么？
4.Flink通信机制是什么？
5.Actor系统包含哪些内容?


书籍：
Spark内核设计的艺术：架构设计与实现【完整版】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26358


其它：
【连载】深度学习笔记14：CNN经典论文研读之Le-Net5及其Tensorflow实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26354



about云2018年11月19日每日一读


Scala实战之访问Kerberos环境的HDFS
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26348

1.如何使用Scala代码访问Kerberos环境的HDFS？

2.怎样导出Kerberos集群中访问HDFS的keytab文件？

3.怎样实现客户端访问HDFS工具类？

企业为什么选择使用Cloudera Manager
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26350

Cloudera实战课程介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26351

文档：
提高Flink易用性【 阿里 砚田2018.11最新2文档】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26352



about云2018年11月16日每日一读


彻底明白Flink系统学习1：Flink介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26343
1.Flink有哪三种运行模式？
2.Flink架构有几层?
3.Flink每层的作用是什么？
4.JobGraph是什么？
5.executiongraph是什么？


书籍：
相关性搜索：利用Solr与Elasticsearch创建智能应用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26345


文档：
【 汇智 谭杰河】汇智在Flink上的实践【2018.11最新文档】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26344




about云2018年11月15日每日一读


Hbase 通过行键rowkey实现多区间查询
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26336
1.hbase的rowkey本文是如何设计的？
2.字符串是采用什么方式存储到rowkey中的？
3.模板数字的作用是什么？
4.什么是与运算？


文档：
Flink在袋鼠云一站式大数据平台中的使用【 2018.11最新文档】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26338


学习pyspark【书籍】：版本spark2.0
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26337


方案探讨：
电商中最佳商品组合计算
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26340



about云2018年11月14日每日一读

Kerberos CDH集群不同OS版本配置HDFS的Gateway节点
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26334
1、如何进行时钟同步？
2、如何安装Kerberos客户端？
3、Kerberos如何进行客户端功能验证？
4、如何处理RedHat6.6 客户端异常问题？


英文资料：
使用Python应用深度学习【书籍】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26332


资源下载：
Hadoop面试题系列4：Java面试
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26331



about云2018年11月12日每日一读

Spark2.4.0发布
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26319

Spark 高级分析:第九章第5节 数据预处理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26315
1.预处理的数据数据格式是怎样的？
2.哪些数据需要预处理？做怎样的处理？
3.预处理代码如何编写的？

CDH集群高可用之在Kerberos环境下修改HOSTNAME
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26320

1.怎样配置环境及停止集群服务？

2.怎样修改集群HOSTNAME及集群服务配置？

3.怎样做功能验证？

视频：
Go语言三大套视频
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26317

Elasticsearch.权威指南（中文版）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26323


Hadoop面试题系列3：大数据面试题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26322

问答：
求一个大数据相关项目idea 作为毕业设计
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26318





about云2018年11月09日每日一读

Flink SQL详解及小案例应用：如何定义、使用及实践
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26308
1.为何会有Flink SQL？
2.本文哪些地方涉及Flink 1.7？
4.如何定义源（sources ）和接收器（sinks）？
5.Flink SQL本文介绍了哪些sql？
6.将数据格式化为正确的格式以便进一步处理？
7.如何监控Flink sql查询
8.使用Flink SQL中的视图的作用是什么？
9.本文使用Flink sql实现了什么案例？


如何应对“智力型”的算法面试题？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26313


英文资料：
Flink sql入门三大新文档【2018】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26311


资料下载：
Hadoop面试题系列2：Hadoop就业面试宝典
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26310


39天大数据学习汇总
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26309


异常错误：
SparkStreaming 消费kafka数据异常
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26312


Hue测试连接出现找不到altscript.sh
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26307







about云2018年11月08日每日一读

解说解说：
Apache Flink中Savepoints和Checkpoints之间的3个区别
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26299
1.Savepoints和Checkpoints是什么？
2.Savepoints和Checkpoints有哪三点区别？
3.何时在流应用程序中使用Savepoints？



文档：
39天大数据学习第39天：资料补充
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26301


下载：
Hadoop面试题系列1：各个公司就业面试宝典
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26304


面试题：
大数据面试题【无答案】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26302


大数据面试题【有答案】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26303


疑问解答：
MapReduce 从本地提交到集群 ，代码中不设置jar包位置，跑的时候就提示找不到Mapp'...
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26297


关于mr的高效求topn的方法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26298




about云2018年11月07日每日一读


技术 应用：
入门理解NLP中多通道卷积神经网络
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26294
1、如何理解多通道卷积神经网络？
2、如何随机初始化的embedding？
3、如何实现Multi_Channel_CNN？
4、如何应用stack函数？



名企资料：
孙金城丨阿里巴巴-Blink SQL关键技术及实现原理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26293



视频：
39天大数据学习第39天：Spark netty及通信
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26292




about云2018年11月06日每日一读


介绍解说：
什么是Hive 钩子，如何实现钩子？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26286
1.什么是Hive hooks？
2.什么是数据湖？
3.Hive钩子有哪些种类？
4.如何实现Hive钩子？



名企资源：
大数据之路：阿里巴巴大数据实践【书籍】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26288


视频：
39天大数据学习第38天：Spark mllib机器学习
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26287


异常错误：
读取hbase数据到hdfs api 报错 网上搜不到 求解  错误java.lang.NoSuchFieldError...
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26285





about云2018年11月03日每日一读


autoencoder实现无监督学习
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26278

1.什么是autoencoder？

2.怎样做作无监督的Pretraining训练？

3.怎样实现无监督学习？

Spark 高级分析:第九章第3,4节 模型介绍和获取数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26271
1.什么是蒙特卡洛风险模型？
2.模型公式是什么？
3.文中从哪里获取股票数据？


名企资源：
新浪-高鹏_ClickHouse最佳实践
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26283


视频：
39天大数据学习第37天：广告平台精准推送系统解决方案（插播）等
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26282





about云2018年11月02日每日一读

比Hive快279倍的数据库-ClickHouse到底是怎样的
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26264
1.什么是ClickHouse？
2.ClickHouse适合哪些场景？
3.为什么面向列的数据库查询如此快？



文档：
Cloudera大数据解决方案
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26268


视频：
39天大数据学习第36天：Spark任务提交流程分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26267



疑问解答：
Rocky版上传镜像错误
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26266


方案探讨：
HDFS数据导入HIVE方案探讨
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26265




about云2018年11月01日每日一读


介绍解说：
为什么要在Kubernetes上运行Kafka，有哪些问题？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26252
1.为什么要在Kubernetes上运行Kafka？
2.Kafka在Kubernetes需要注意哪些问题？
3.在Kubernetes上的部署Kafka时，需要什么团队方面的合作？



小知识点：
Cloudera Enterprise 6提高Hive执行效率2.2倍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26251


视频：
39天大数据学习第35天：Spark源码阅读
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26255


书籍：
亿级流量网站架构核心技术
http://www.aboutyun.com/forum.php?mod=viewthread&tid=26254

很全面了

Mark下