about云每日一读汇总（第22篇2017.09.30）

本帖最后由 Tank_2000 于 2017-12-7 21:22 编辑

about云2017年12月08日每日一读

spark2 sql读取json文件的格式要求
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23478
1.spark2 sql如何读取json文件？
2.spark2读取json格式文件有什么要求？
3.spark2是如何处理对于带有表名信息的json文件的?

如何使用Tensorflow可视化卷积神经网络
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23477

1. 如何获取数据集？

2. 如何选择模型？

3. 如何处理和构建数据集？

4. 卷积和池化是如何工作的？

5. 如何构建卷积神经网？

6. 如何创建损失函数和优化器？

7. 如何创建TensorBoard用的汇总？

8. 如何训练模型？

9. 如何可视化计算图？

10. 如何评估性能？

11. 如何生成可视化不断进化的滤波器？

资源：
通过spark和Redis-ML实现实时机器学习【英文】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23476

问答：
CDH 安装后能做冷备或者热备吗？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23473

_member_角色问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23474

about云2017年12月07日每日一读

Spark SQL案例介绍与编程实现
http://www.aboutyun.com/thread-23469-1-1.html
1、Spark SQL/DataFrame如何理解？
2、如何使用spark SQL编写统计代码？
3、如何查看spark任务监控过程？
4、Spark SQL程序开发需要注意哪些内容？

资源：

Apache Spark Streaming + Kafka 0.10整合
http://www.aboutyun.com/thread-23468-1-1.html

问答：

keystone 优化
http://www.aboutyun.com/thread-23467-1-1.html

about云2017年12月06日每日一读

Python reduce详解
http://www.aboutyun.com/thread-23459-1-1.html
1.reduce()在 python 2和3中有什么区别？
2.reduce有哪三个参数？
3.reduce是如何工作的？

scala中case class是什么？
http://www.aboutyun.com/thread-23464-1-1.html

资源：

Spark总结
http://www.aboutyun.com/thread-23460-1-1.html

问答：

使用pyspark Accumulator
http://www.aboutyun.com/thread-23463-1-1.html

openstack源码调试
http://www.aboutyun.com/thread-23461-1-1.html

about云2017年12月05日每日一读

深度学习：通过神经网络提取文本摘要【包括新闻、博客等】
http://www.aboutyun.com/thread-23454-1-1.html
1.通过什么技术可以提取新闻、博客、聊天、报告、论文、微博等内容？
2.生成式文本摘要借助什么技术，有新的发展?
3.生成式神经网络模型的基本结构包含什么内容？

相关系数计算
http://www.aboutyun.com/thread-23456-1-1.html

资源：

Spark Shuffle提高性能解决方案RDMA
http://www.aboutyun.com/thread-23455-1-1.html

问答：

Centos7ping不通本机ip
http://www.aboutyun.com/thread-23453-1-1.html

about云2017年12月04日每日一读

Kafka新版消费组(consumer group)详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23447
1.什么是消费者组？

2.什么是rebalance协议？

3.谁来执行rebalance和consumer group管理？

Spark 高级分析:第三章第3节
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23439
1.Spark MLib ALS限制条件是什么？
2.flatmap适用于什么场景？
3.Option类是什么？

资源：
大话CEPH——PG那点事儿
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23450

Apache Kafka Cookbook
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23451

问答：
Storm-kafka集成问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23437

针对数据更新的场景，模拟做题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23438

kylin加载不出hive表，加载配置信息报Fail to take action
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23441

zk、hadoop、hbase升级应该注意那些问题？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23442

Reducer端数据接收不到，也就是迭代器中貌似就没有数据！求解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23443

Hadoop HA 配置自动切换后启动时NameNode自动消失
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23445

阿里云部署hadoop，使用shell操作一切正常，但是使用java api操作上传文件大小为0
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23446

spark数据清洗问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23448

sqoop导入数据到spark-sql
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23449

about云2017年12月01日每日一读

在 Spark 运行 DBSCAN 实现对地理定位数据聚类
http://www.aboutyun.com/thread-23432-1-1.html

1. DBSCAN聚类算法是什么？

2. 如何在Spark里使用PairRDDs？

3. 如何在Spark中并发运行DBSCAN？

4. 如何进一步增强地理定位分析？

5. 如何创建一个基于位置的API 服务？

资源：
Caffe学习系列文档分享
http://www.aboutyun.com/thread-23433-1-1.html

问答：
spark-sql与hive的几点疑问
http://www.aboutyun.com/thread-23427-1-1.html

请问下Hadoop完全分布式集群搭建好之后
http://www.aboutyun.com/thread-23428-1-1.html

大家帮忙看下Clouderamanager的内存和实际的内存问题
http://www.aboutyun.com/thread-23431-1-1.html

flume+sparkstream
http://www.aboutyun.com/thread-23434-1-1.html

关于openstack开发，略迷茫，求助各位大佬指点
http://www.aboutyun.com/thread-23435-1-1.html

about云2017年11月30日每日一读

从0开始入门循环神经网络
http://www.aboutyun.com/thread-23425-1-1.html
1、什么是循环神经网络?
2、如何使用Onehot编码？
3、如何初始化模型参数？
4、如何理解梯度剪裁？

资源：
大数据研究及应用场景分析：千亿大数据即席分析、实时导入
http://www.aboutyun.com/thread-23424-1-1.html

问答：

hive UDF
http://www.aboutyun.com/thread-23421-1-1.html

有谁知道 about云日志分析项目的日志文件数据在哪找
http://www.aboutyun.com/thread-23420-1-1.html

Spark scala
http://www.aboutyun.com/thread-23419-1-1.html

about云2017年11月29日每日一读

spark2的SparkSession思考与总结2：SparkSession包含哪些函数及功能介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23407
1.spark SparkSession包含哪些函数？
2.创建DataFrame有哪些函数？
3.创建DataSet有哪些函数?

资源：
Google-File-System和MapReduce中文版
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23415

问答：
cinder创建LVM物理卷时问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23413

hive-1.1.0-cdh5.4.0执行hive统计hbase中记录的条数无结果返回
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23414

openstack创建实例问题，
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23416

about云2017年11月28日每日一读

HBase实现流量限制的方法介绍：包括资源限制和资源隔离
http://www.aboutyun.com/thread-23408-1-1.html
1.为什么HBase流量限制？
2.对于流量限制作者提出了什么解决办法？
3.如何实现资源限制和资源隔离？

资源：

Google-Bigtable中文版_1.0
http://www.aboutyun.com/thread-23406-1-1.html

问答：

这个是什么情况小菜鸟一个望大神指点迷津
http://www.aboutyun.com/thread-23403-1-1.html

Spark Scala
http://www.aboutyun.com/thread-23405-1-1.html

java.lang.NoSuchFieldError: defaultVal
http://www.aboutyun.com/thread-23409-1-1.html

keystone 优化
http://www.aboutyun.com/thread-23410-1-1.html

about云2017年11月27日每日一读

Runtime Filter技术在Impala中的应用:包括介绍、作用、实现等
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23396

1.什么是Runtime Filter？

2.Runtime Filter在Impala中有什么作用？

3.Runtime Filter实现原理是什么？

spark2：SparkSession思考与总结1
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23381
1.你认为为何出现SparkSession？
2.SparkSession如何创建RDD？
3.SparkSession通过那个类来实例化？
4.bulider包含哪些函数？

Spark 高级分析:第三章第2节
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23387
1.什么是协同过滤？
2.什么是ALS？原理是什么？
3.？Spark MLib 推荐算法借鉴的是什么算法？

2017年about云11月第04周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23401

资源：
Apache Flink介绍【英文】双11利器
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23400

问答：
大数据集如何转化为RDD
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23388

Spark Scala急求
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23389

habse关于高并发存储后立即读取新数据的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23390

疑惑：Spark 从Hbase中读取数据显示错误
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23391

Spark scala 求救
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23392

hive、spark等比impala时间戳多8个小时分享
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23393

strom trident 统计问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23398

想写一个openstack的登陆控制,增加密码的复杂度请各位大神给一点思路吧
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23399

about云2017年11月24日每日一读

Spark-streaming-2.0-Kafka：从kafka接收数据Receiver和direct两种方式源码解读
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23378
1. streaming kafka direct API 是如何实现的？
2. streaming kafka receiver API 是如何实现的？
3. direct API 与 receiver API 区别在哪？

资源：
一天弄懂深度学习
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23377

问答：
Spark scala 问题求救
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23373

hive错误Error in configuring object
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23374

spark的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23375

CDH 中组件升级问题(hive为例）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23376

请问自学机器学习如何检验自己的水平呢
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23379

spark集群未启动，直接进入spark shell产生的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23380

about云2017年11月23日每日一读

TensorFlow ML cookbook 第一章7、8节实现激活功能和使用数据源
http://www.aboutyun.com/thread-23371-1-1.html
1、TensorFlow中有哪些激活函数？
2、如何运行激活函数？
3、TensorFlow有哪些数据源？
4、如何获得及使用数据源？

大数据学习的五大要素——加米谷大数据
http://www.aboutyun.com/thread-23365-1-1.html

资源：

Spark 2.0详解入门【适合初学者书籍】
http://www.aboutyun.com/thread-23369-1-1.html

问答：

Spark问题求救
http://www.aboutyun.com/thread-23370-1-1.html

执行RDD出现问题
http://www.aboutyun.com/thread-23366-1-1.html

about云2017年11月22日每日一读

大数据问题搜集
http://www.aboutyun.com/thread-23362-1-1.html

资源：

模式识别与机器学习PRML_Chinese_vision
http://www.aboutyun.com/thread-23363-1-1.html

问答：

关于openstack安装后二次开发
http://www.aboutyun.com/thread-23355-1-1.html

查询时间戳问题
http://www.aboutyun.com/thread-23357-1-1.html

openstack之swift
http://www.aboutyun.com/thread-23358-1-1.html

急求
http://www.aboutyun.com/thread-23359-1-1.html

管理网络经常异常崩掉
http://www.aboutyun.com/thread-23360-1-1.html

hbase挂过一次后，重启，然后计算数据总是异常
http://www.aboutyun.com/thread-23361-1-1.html

about云2017年2017年11月21日每日一读

spark2.2以后版本任务调度将增加黑名单机制
http://www.aboutyun.com/thread-23346-1-1.html
1.spark如何开启黑名单机制？
2.哪些条件将executors列入黑名单？
3.整个节点被列入黑名单，executors如何处理？

[深度学习] tensorflow 基础知识 01
http://www.aboutyun.com/thread-23352-1-1.html

资源：

蔡自兴：中国人工智能40年
http://www.aboutyun.com/thread-23350-1-1.html

问答：

无法ping外网网关
http://www.aboutyun.com/thread-23349-1-1.html

分布式缓存
http://www.aboutyun.com/thread-23351-1-1.html

请教一下各位大神，impala可以安装在apache hadoop下嘛？
http://www.aboutyun.com/thread-23353-1-1.html

about云2017年11月20日每日一读

Spark 高级分析:第三章第1节
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23338
1.推荐引擎是什么？
2.推荐引擎一般用来做什么？有什么样的实例？
3.什么样的数据是隐式反馈数据？

机器学习算法工程师成就之道
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23344

1.什么是机器学习算法工程师？

2.机器学习算法工程师需要掌握哪些技能？

3.机器学习算法工程师分为哪些领域？

hadoop
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23339

hadoop升级遇到问题汇总
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23340

2017年about云11月第03周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23345

资源：
Spark2学习总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23347

问答：
请问虚拟机部署openstack 网卡配置问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23341

spark有没有全局缓存？想缓存一个文件内容供给一个任务使用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23342

about云2017年11月17日每日一读

Spark性能相关配置参数详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23334
1. shuffle 相关的配置参数有哪些？
2. Storage相关的配置参数有哪些？
3. 压缩和序列化相关的配置参数有哪些？
4. schedule调度相关的配置参数有哪些？

资源：
人工智能研究
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23336

问答：
mapreduce如何读取数据字典进行参数的替换呢？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23332

hue中hive的security如何配置
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23333

linux 使用kettle执行kitchen.sh 调度job作业出现的错误，求大神帮忙看看啦
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23335

about云2017年11月16日每日一读

程序员转型入门深度学习
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23327
1、什么是机器学习？
2、机器学习四要素有哪些？
3、什么是深度学习？
4、如何理解TensorFlow？

资源：
Spark最佳实践陈欢，林世飞著
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23326

问答：
虚拟机哪个比较好？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23323

openstack安装问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23324

解惑：Spark Streaming 数据导入hbase的困惑
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23325

about云2017年11月15日每日一读

机器学习知识储备
http://www.aboutyun.com/thread-23319-1-1.html
1. 什么是协方差和相关系数？
2. 什么是高斯分布？
3. 什么事似然函数？

资源：

spark2.3.0安装包下载【对应hadoop2.7.1版本】
http://www.aboutyun.com/thread-23314-1-1.html

深入Python3【617页】
http://www.aboutyun.com/thread-23317-1-1.html

问答：

flume配置文件修改过程中报错，主机名和ip都不行，不识别冒号:
http://www.aboutyun.com/thread-23316-1-1.html

hadoop跨hdfs读写只能用distcp吗
http://www.aboutyun.com/thread-23318-1-1.html

虚拟机无法获取IP地址
http://www.aboutyun.com/thread-23321-1-1.html

about云2017年11月14日每日一读

AI机器学习/算法19家公司面试经验总结及薪酬
http://www.aboutyun.com/thread-23311-1-1.html

1.AI薪资普遍多少？

2.从作者面试经历，你能获取哪些知识？

3.对AI发展是怎么认为的？

资源：

人工智能会取代教师吗人工智能+教育四大困惑解答http://www.aboutyun.com/thread-23312-1-1.html

问答：

spark on yarn出现的问题
http://www.aboutyun.com/thread-23310-1-1.html

about云2017年11月13日每日一读

Spark 高级分析:第二章第11，12节
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23298
1.样例中是如何选择特征值作为分析依据的？
2.Spark Mlib是什么？
3.文章中建议学习Scala可以选择哪两本书？

storm 1.0版本后支持滑动窗口，如何实现滑动窗口
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23297
1.storm哪个版本开始支持滑动窗口？
2.窗口可以从时间或数量上来划分，由哪两个因素决定？
3.storm滑动窗口如何实现？

基于深度学习的超分辨率图片识别与图片重建
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23305

1.什么是TSR技术？

2.什么是超分辨率技术？

3.TSR技术是怎样实现的？

2017年about云11月第02周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23306

资源：
TalkingData基于Spark的数据挖掘工作
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23307

问答：
Hive中查出来的结果和mysql中查出来的结果不一致
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23292

CDH5 Cloudera manager中主机master状态物理内存警告
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23293

求问使用flume 1.7 taildir时出现如下错误怎么办？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23294

Storm的滑动窗口设置可以动态设置吗
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23295

hadoop跨集群读写疑问
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23296

cinder安装存在问题，无法创建卷
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23299

cinder错误， LVMVolumeDriver未初始化？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23301

疑难问题，百度解决不了的，大家帮忙看看吧，感谢
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23303

Kudu报错ClassNotFoundException: org.apache.kudu.spark.kudu.KuduPartition
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23304

./pyspark出现的错误
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23308

about云2017年11月10日每日一读

spark编译2：构建基于hadoop的spark安装包实践及遇到问题总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23286
1.编译失败的可能问题有哪些？
2.指定hadoop版本，需要添加什么配置？
3.如不添加profile，会出现什么问题？

如何使用zookeeper实现impalad的负载均衡
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23288
1. 为什么要通过 zookeeper 实现 impalad 的负载均衡？
2. 原生hiveserver2 如何实现负载均衡？
3. impala 如何通过 zookeeper 实现负载均衡？
4. impala 通过 zookeeper 实现负载均衡有什么缺点？

资源：
sqoop2系统入门文档下载
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23289

问答：
2017年就要过完了，你们还有什么想说的吗？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23284

本人普通程序员一枚，明年就是我毕业工作的第三年了，有点迷茫对目前发展，求指教...
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23285

horizon 侧边栏
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23287

about云2017年11月09日每日一读

Flink在监控流计算中的应用
http://www.aboutyun.com/thread-23278-1-1.html
1、如何理解流计算？
2、什么是Flink？
3、Flink的关键技术点有哪些？
4、使用Flink遇到哪些问题？

资源：

深入理解大数据大数据处理与编程实践
http://www.aboutyun.com/thread-23277-1-1.html

问答：

spark安装中出现的错误ipython
http://www.aboutyun.com/thread-23280-1-1.html

nova-placement-api.log日志中错误Target WSGI script '/usr/bin/nova-placement-a...
http://www.aboutyun.com/thread-23282-1-1.html

bout云2017年11月08日每日一读

由表及里详解推荐系统二
http://www.aboutyun.com/thread-23274-1-1.html

1.如何判断推荐系统的优劣？

2.一个新的推荐算法最终上线，需要完成哪3个实验？

3.什么情况下会产生冷启动？

3.冷启动有哪些分类？

4.冷启动如何解决？

资源：

Sqoop用户指南
http://www.aboutyun.com/thread-23275-1-1.html

问答：

ElasticSearch删除索引后如何释放磁盘空间
http://www.aboutyun.com/thread-23271-1-1.html

请教如何学习AI路线图
http://www.aboutyun.com/thread-23272-1-1.html

搭建spark环境出现的问题
http://www.aboutyun.com/thread-23273-1-1.html

about云2017年11月07日每日一读

构建基于hadoop的spark安装包
http://www.aboutyun.com/thread-23257-1-1.html
1.spark集群能否单独运行？
2.如何在spark中指定想编译的hadoop版本？
3.构建的时候，版本选择需要注意什么？

由表及里详解推荐系统
http://www.aboutyun.com/thread-23267-1-1.html
1.推荐系统的3个W是什么？
2.推荐系统的结构（Structure）是什么样？
3.推荐引擎算法（Algorithm）有哪些？

资源：

机器人技术导论
http://www.aboutyun.com/thread-23268-1-1.html

spark2.3.0源码下载
http://www.aboutyun.com/thread-23269-1-1.html

问答：

yarn nodemanager启动时报log和local硬盘错误问题，nodemanager状态显示unhealthy
http://www.aboutyun.com/thread-23262-1-1.html

about云2017年11月06日每日一读

如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23252
1.通过什么途径，可以查看与spark兼容的组件版本？
2.如何获取pom文件？
3.pom文件中包含了哪些信息？
4.spark编译通过什么参数可以指定hadoop版本？

大规模机器学习框架的演变
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23255

1.为什么要做人工特征设计？
2.什么是MPI技术？
3.参数服务器有哪些演进？

Spark 高级分析:第二章第9，10节
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23245
1.哪些场景使用以及如何使用map方法？
2.apply方法有何作用？
3.reduce方法有何作用？

2017年about云11月第01周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23260

资源：
《纽约客》深度长文：当人工智能遇上医生
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23259

问答：
spark官网一个例子不懂请教一下各位大神
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23246

openstack-centos7系统安装ocata版本，创建实例时报401错误
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23247

spark启动问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23249

阿里云链接Hadoop网站问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23258

about云2017年11月03日每日一读

hadoop2.x 基于 QJM 的 NameNode 共享存储方案分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23239

1. NameNode 是怎么存储元数据的？

2. 基于 QJM 的共享存储系统架构是如何实现的?

3. 基于 QJM 的共享存储系统的数据同步机制是如何实现的？

4. 基于 QJM 的共享存储系统的数据恢复机制是如何实现的？

5. NameNode 高可用运维中有哪些注意事项？

资源：
人工智能在信息检索中的应用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23243

问答：
active namenode的editsLog先写到JournalNode还是先写到本地？写到本地的作用是什么？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23236

cloudera manager agent 报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23237

CDH如何实现namenode HA
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23238

Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23242

大家遇到过使用Cloudera manager崩溃怎么接管CDH的问题吗？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23240

about云2017年11月02日每日一读

TensorFlow ML cookbook 第一章5、6节使用矩阵和声明操作
http://www.aboutyun.com/thread-23231-1-1.html
1、如何使用矩阵？
2、TensorFlow中如何进行加减法？
3、如何对张量进行标准操作？
4、TensorFlow有哪些数学函数？

资源：

计算智能中的仿生学：理论与算法
http://www.aboutyun.com/thread-23233-1-1.html

问答：

请帮助
http://www.aboutyun.com/thread-23230-1-1.html

about云2017年11月01日每日一读

Kafka副本水位与leader epoch的讨论
http://www.aboutyun.com/thread-23220-1-1.html
1. follower副本何时更新LEO？
2. follower副本何时更新HW？
3. leader副本何时更新LEO？
4. leader副本何时更新HW值？

资源：

人工智能革命探秘
http://www.aboutyun.com/thread-23226-1-1.html

问答：

谁会这种解密？
http://www.aboutyun.com/thread-23218-1-1.html

上传镜像时500错误
http://www.aboutyun.com/thread-23219-1-1.html

sparkStreaming读取sqlserver，然后把读出来的数据插入到hbase
http://www.aboutyun.com/thread-23224-1-1.html

win10安装SBT遇到以下问题：
http://www.aboutyun.com/thread-23227-1-1.html

phoenix问题咨询
http://www.aboutyun.com/thread-23228-1-1.html

about云2017年10月31日每日一读

Spark机器学习库(MLlib)之3:管道
http://www.aboutyun.com/thread-23208-1-1.html
(1)MLlib中的管道是什么？
(2)管道组件有哪些？
(3)管道具体工作原理？

多openstack部署
http://www.aboutyun.com/thread-23213-1-1.html
1.nova-cell 原理是什么？
2.nova-cell v1和v2如何使用？
3.region管理openstack的优点和缺点是什么？

spark如何调优
http://www.aboutyun.com/thread-23216-1-1.html

资源：

工业机器人的分类
http://www.aboutyun.com/thread-23207-1-1.html

到底什么才是真正的人工智能？
http://www.aboutyun.com/thread-23214-1-1.html

问答：

tez 中的任务如何结束
http://www.aboutyun.com/thread-23209-1-1.html

怎么修改计算节点所在cell
http://www.aboutyun.com/thread-23212-1-1.html

about云2017年10月30日每日一读

Spark 高级分析:第二章第7，8节
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23197
1.哪些方法可以做数据的聚合？
2.集群上进行数据聚合时如何优化？
3.对存储在Map类型中的数据如何排序？
4.scala集合类有哪些？如何相互转化？

Kafka幂等producer的设计与实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23202

1.什么是幂等producer？

2.幂等producer的设计思想是什么？

3.怎样实现幂等producer？

2017年about云10月第05周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23204

资源：
工业机器人的分类
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23207

问答：
一台服务器，一台个人PC，如何部署程序？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23194

有关M/R任务在8088端口查看的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23195

OpenTsdb写热点如何解决
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23196

CDH5.7.5安装好以后，无法修改HUE的数据库
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23200

Hbase求救
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23203

java api如何判断hdfs已经连接或者能够连接
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23205

about云2017年10月27日每日一读

Spark 源码解读之 Task 是如何被分配到executor上执行
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23189

1. Driver 端如何发送 LaunchTask 事件？

2. CoarseGrainedSchedulerBackend 的作用是什么？

3. Executor 端如何接收LaunchTask事件？

4. TaskDescription 的作用是什么？

资源：
21世纪科技大趋势——机器人技术
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23192

问答：
Spark -----HDFS
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23190

java代码实现jdbc连接hiveserver2，serviceDiscoveryMode=zooKeeper
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23191

about云2017年10月26日每日一读

学习scala的那五天__编程实战
http://www.aboutyun.com/thread-23182-1-1.html

数据类型-基于RDD的API
http://www.aboutyun.com/thread-22854-1-1.html
1.什么是MLlib?
2.RDD和MR的区别？

轻松搞定Zeppelin源码
http://www.aboutyun.com/thread-23185-1-1.html
1、如何理解Zeppelin的入口？
2、Zeppelin有哪些模块？
3、如何进行Zeppelin源码调试？
4、如何理解Zeppelin关系图？

人工智能及其对日常生活的影响
http://www.aboutyun.com/thread-23187-1-1.html

资源

数据仓库与数据挖掘(廖开际)第九章：一个简易的数据挖掘工具Weka
http://www.aboutyun.com/thread-23183-1-1.html

问答：

在线等！！！！求指点！！！！
http://www.aboutyun.com/thread-23184-1-1.html

about云2017年10月25日每日一读

hbase数据如何导入到hdfs
http://www.aboutyun.com/thread-23179-1-1.html
1.本文介绍了哪两种方式将hbase数据导入hdfs?
2.如何自定义实现把数据从hbase数据导入hdfs?
3.hbase自带了哪个工具，可以实现把数据从hbase数据导入hdfs?

资源：

数据仓库与数据挖掘(廖开际)第八章：SQL Server 数据仓库与数据挖掘工具及其应用
http://www.aboutyun.com/thread-23180-1-1.html

问答：

在百度云上购买一台云主机，安装好自己写的程序就是云开发了？
http://www.aboutyun.com/thread-23176-1-1.html

flume No configuration found for this host:al 怎么解决
http://www.aboutyun.com/thread-23177-1-1.html

linux 问题求帮忙
http://www.aboutyun.com/thread-23178-1-1.html

about云2017年10月24日每日一读

学习scala的那五天__第四天
http://www.aboutyun.com/thread-23164-1-1.html

学习scala的那五天__第五天
http://www.aboutyun.com/thread-23173-1-1.html

YARN资源隔离配置案例
http://www.aboutyun.com/thread-23166-1-1.html
1.配置YARN动态资源池步骤？
2.测试？
3.Placement Rules？

资源：

Redis基础知识及集群搭建
http://www.aboutyun.com/thread-23172-1-1.html

问答：

求助：nova-compute无法启动
http://www.aboutyun.com/thread-23167-1-1.html

启动Datanode的secureMain中的异常
http://www.aboutyun.com/thread-23168-1-1.html

cannot import name "xxxx"
http://www.aboutyun.com/thread-23169-1-1.html

js生成UUID
http://www.aboutyun.com/thread-23170-1-1.html

volume attach到instance后，怎样使用volume？？
http://www.aboutyun.com/thread-23171-1-1.html

mapreduce字谜作业相关问题
http://www.aboutyun.com/thread-23174-1-1.html

about云2017年10月23日每日一读

使用静态服务池给Impala和其他服务分配专用的资源
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22963

1.如何使用Impala提升CDH集群的利用效率？

2.怎样合理明智地分配资源？

3.怎样创建动态资源池？

Spark 高级分析:第二章第5，6节
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22959
1.什么是Tuples？什么是case class？
2.什么是隐式类型转换？
3.RDD存储级别有哪几个？分别都是什么场景下使用？

2017年about云10月第04周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23162

学习scala的那五天__第二天
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22960

学习scala的那五天__第二天缺失版
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22961

学习scala的那五天__第三天
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22962

【重要通知】网站会员账号安全加强
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23160

资源：
数据仓库与数据挖掘(廖开际)第八章:数据挖掘中的常用算法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23161

问答：
请教：HBase 协处理器的使用问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22964

about云2017年10月20日每日一读

机器学习入门常犯错误总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22955

1. 为什么不能一直使用默认损失函数？

2. 为什么不能所有问题使用一种算法？

3. 如何正确处理异常值？

4. 如何正确处理周期特征？

5. 为什么需要特征归一化后使用正则化？

6. 为什么线性回归或 logistic 回归的系数绝对值无法当做判断特征的重要性？

日志分析实战之清洗日志小实例7：查看样本数据，保存统计数据到文件
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22953
1.如何从所有数据中，抽取样本查看？
2.如何保存结果到hdfs？
3.saveAsTextFile的作用是什么？

学习scala的那五天__第一天
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22957

资源：
数据仓库与数据挖掘(廖开际)第七章:数据挖掘中的常用算法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22956

问答：
nova-compute启动不正常？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22952

hive on spark（yarn mode）配置遇到的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22954

about云2017年10月19日每日一读

Scala的map实现key和value排序及各种排序比较等知识讨论
http://www.aboutyun.com/thread-22942-1-1.html
1.map能否直接排序？
2.如何转换，才能排序？
3.排序结果可以存储在哪两个集合中？
4._*如何使用？
5.排序函数中，哪个可以进行升序和降序排列？
6.他们的排序性能如何?

资源：

数据仓库与数据挖掘(廖开际)第六章:数据预处理
http://www.aboutyun.com/thread-22943-1-1.html

问答：

新安装的compute节点导致实例创建失败
http://www.aboutyun.com/thread-22941-1-1.html

HIVE on tez 设置问题，请大神解答
http://www.aboutyun.com/thread-22945-1-1.html

about云2017年10月18日每日一读

深入理解Hadoop HA机制
http://www.aboutyun.com/thread-22935-1-1.html
1、Hadoop1.x和Hadoop2.x架构有哪些区别？
2、什么是QJM？
3、如何理解QJM框架？
4、如何理解主备切换机制？

资源：

about云日志分析实战之清洗、网站统计小教程
http://www.aboutyun.com/thread-22936-1-1.html

问答：

spark连接mongodb 耗时特别长是什么原因啊
http://www.aboutyun.com/thread-22937-1-1.html

mongodb 集群下有什么优化方式吗
http://www.aboutyun.com/thread-22938-1-1.html

spark createDirectStream保存kafka offset
http://www.aboutyun.com/thread-22939-1-1.html

about云2017年10月17日每日一读

分享数据化运营的六个步骤
http://www.aboutyun.com/thread-22927-1-1.html

图数据库如何应用在CMDB领域
http://www.aboutyun.com/thread-22926-1-1.html
1.传统CMDB的弊端是什么？
2.图数据库和CMDB的区别是什么？
3.CMDB领域中的图数据模型是什么样？
4.存在的问题有哪些 ?
5.关于系统选型和配置建议？

日志分析实战之清洗日志小实例6：获取uri点击量排序并得到最高的url
http://www.aboutyun.com/thread-22928-1-1.html
1.读取日志的过程中，发生异常本文是如何解决的?
2.读取后，如何过滤异常的记录？
3.如何实现统计点击最高的记录？

资源：

CDH5.11.0安装文档
http://www.aboutyun.com/thread-22932-1-1.html

问答：

yum源出问题了？咋办呀？新人求解！！
http://www.aboutyun.com/thread-22922-1-1.html

你们的大数据团队有多少成员
http://www.aboutyun.com/thread-22923-1-1.html

[oozie] Error: HTTP error code: 500 : Internal Server Error
http://www.aboutyun.com/thread-22929-1-1.html

spark怎么进行数据挖掘
http://www.aboutyun.com/thread-22930-1-1.html

OOZIE调度timeout问题解答
http://www.aboutyun.com/thread-22931-1-1.html

about云2017年10月16日每日一读

Spark 高级分析:第二章第4节开始学习Spark Shell和SparkContext
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22903
1.什么是Spark Shell，SparkContext，REPL？
2.什么是RDD?
3.如何创建RDD?
4.var 和 val有什么区别？

日志分析实战之清洗日志小实例5：实现获取不能访问url
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22911
1.在url中，如何过滤不需要的内容？
2.如何获取404记录并且获取字段？
3.获取不能访问url列表的思路是什么？

multi-tenancy或使用基于时间的索引的Elasticsearch优化案例
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22916

1.Elasticsearch应该有多少个分片？

2.Elasticsearch的分片应该有多大？

3.Elasticsearch分片的大小如何影响性能？

2017年about云10月第03周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22920

资源：
集成Lucene和HBase
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22919

hadoop视频链接--送给初学者
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22913

问答：
Storm-kafka数据不处理情况
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22905

用VMware Workstation部署Openstack该如何配置网络？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22906

Flume手机日志(包括文件夹）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22908

求助有关hadoop作业调度方面的知识
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22909

大神能帮我解释下如下内容么？有点迷惑啊
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22912

使用YCSB测试HBase的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22914

使用kilo版本部署多region，keystone认证问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22915

Spark Sql查询结果保存到HBase及redis中
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22918

自定义类封装HashSet，如何序列化
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22917

about云2017年10月13日每日一读

about云日志分析实战之清洗日志4：网站相关信息
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22900
1.如何统计网站总的点击量？
2.如何实现统计不能访问网页的个数?
3.文章中如何定义和使用Scala函数的？

spark shell启动多个客户端可能产生的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22895

资源：
数据仓库与数据挖掘(廖开际)第五章
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22901

问答：
cloudera-scm-agent 已死，但 pid 文件仍存
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22894

dashboard 500 查看日志没发现什么问题！
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22897

OpenStack制作win7镜像卡在QEMU-Kvm？？？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22898

spark监控hdfs新增文件在sparkStreaming程序中能否得到这个文件的...
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22899

about云2017年10月12日每日一读

Flume、Kafka和Elasticsearch整合介绍
http://www.aboutyun.com/thread-22889-1-1.html
1.flume和elasticsearch整合需要哪些步骤？
2.如何将Kafka数据导入elasticsearch？
3.将Kafka中的数据导入到elasticsearch中有几种方式？

资源：

数据仓库与数据挖掘(廖开际)第四章
http://www.aboutyun.com/thread-22890-1-1.html

问答：

openstack 如何创建一个win7操作系统实例？
http://www.aboutyun.com/thread-22884-1-1.html

怎么查看从impala向kudu导数据时的详细数据错误
http://www.aboutyun.com/thread-22888-1-1.html

spark与hdfs整合的问题
http://www.aboutyun.com/thread-22891-1-1.html

oozie4.1.0-cdh5.5.2
http://www.aboutyun.com/thread-22892-1-1.html

about云2017年10月11日每日一读

大数据时代信息将带来怎样的影响？
http://www.aboutyun.com/thread-22872-1-1.html

TensorFlow ML cookbook 第一章3、4节关于Tensors
http://www.aboutyun.com/thread-22874-1-1.html
1、如何理解TensorFlow中张量？
2、TensorFlow中如何创建张量？
3、如何理解占位符和变量？
4、如何创建和初始化变量？

about云日志分析实战之清洗日志3：如何在spark shell中导入自定义包
http://www.aboutyun.com/thread-22881-1-1.html
1.自定义包，本文放到哪个路径下面？
2.复制包之后，需要做哪些权限操作？
3.如何验证导入是否成功？

python调用linux命令---神算子
http://www.aboutyun.com/thread-22877-1-1.html

资源：

数据仓库与数据挖掘(廖开际)第三章
http://www.aboutyun.com/thread-22882-1-1.html

下载oozie
http://www.aboutyun.com/thread-22871-1-1.html

问答：

hadoopo fs -put file /tmp/上传文件出现某行非常长
http://www.aboutyun.com/thread-22869-1-1.html

云主机中安装的应用程序与OpenStack的各个节点有什么关系？
http://www.aboutyun.com/thread-22870-1-1.html

hive外部分区表分区4w，全表扫优化方式
http://www.aboutyun.com/thread-22873-1-1.html

ERROR org.apache.pig.backend.hadoop.executionengine.tez.TezJob - Cannot subm
http://www.aboutyun.com/thread-22875-1-1.html

CM启动resouce manager失败
http://www.aboutyun.com/thread-22878-1-1.html

节点频繁宕机有自动恢复正常，但是一直有坏块
http://www.aboutyun.com/thread-22879-1-1.html

about云2017年10月10日每日一读

国美深度学习打造精准推荐系统实践
http://www.aboutyun.com/thread-22864-1-1.html
1.国美大数据中心的背景是什么？
2.国美个性化推荐系统的面面观？
3.未来的挑战是什么？

about云日志分析实战之清洗日志2：导入日志清洗代码并打包
http://www.aboutyun.com/thread-22862-1-1.html
1.通过什么菜单项可以导入源码？
2.打jar包需要哪些步骤?
3.如何找到jar生成路径？

大数据时代下，Facebook如何轻松获得用户？
http://www.aboutyun.com/thread-22861-1-1.html

资源：

数据仓库与数据挖掘(廖开际)第二章
http://www.aboutyun.com/thread-22865-1-1.html

问答：

过完节，我又来问问题了。。关于实时计算的
http://www.aboutyun.com/thread-22863-1-1.html

用fuel部署OpenStack出现以下错误如何解决？
http://www.aboutyun.com/thread-22866-1-1.html

glance后端用ceph，上传小的镜像正常使用，但是上传大的镜像报错
http://www.aboutyun.com/thread-22867-1-1.html

about云2017年09月30日每日一读

HDFS企业级的存储方案：Ozone对象存储
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22824
1.Ozone是为了解决什么问题？
2.Ozone是如何设计的？
3.Ozone面向用户的使用方式是什么？

问答：

求解实例创建失败。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22823

验证keystone时出现错误
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22813

keystone查看角色
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22814

sqoop一次性抽取指定数量的表？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22819

求助：时间序列的数据，求相邻时间点的差值
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22821

jvm内存模型
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22822

资源：
机器人发展的历史、现状、趋势
http://www.aboutyun.com/forum.php?mod=viewthread&tid=22825

about云每日一读汇总（第一篇）

about云每日一读汇总（第二篇）

about云每日一读汇总（第三篇2014.10.20）

about云每日一读汇总（第四篇2014.12.10）

about云每日一读汇总（第五篇2015.01.01）

about云每日一读汇总（第六篇2015.02.01）

about云每日一读汇总（第七篇2015.03.01）

about云每日一读汇总（第八篇2015.05.01）

about云每日一读汇总（第九篇2015.06.21）

about云每日一读汇总（第十篇2015.09.01）

about云每日一读汇总（第十一篇2015.11.14）

about云每日一读汇总（第十二篇2016.01.01）

about云每日一读汇总（第十三篇2016.04.01）

about云每日一读汇总（第十四篇2016.05.16）

about云每日一读汇总（第十五篇2016.07.18）

about云每日一读汇总（第十六篇2016.10.18）

about云每日一读汇总（第十七篇2016.12.05）

about云每日一读汇总（第十八篇2017.01.05）

about云每日一读汇总（第19篇2017.03.24）

about云每日一读汇总（第20篇2017.06.01）

about云每日一读汇总（第21篇2017.08.01）