about云每日一读汇总（第十六篇2016.10.18）

about云每日一读汇总（第一篇）

about云每日一读汇总（第二篇）

about云每日一读汇总（第三篇2014.10.20）

about云每日一读汇总（第四篇2014.12.10）

about云每日一读汇总（第五篇2015.01.01）

about云每日一读汇总（第六篇2015.02.01）

about云每日一读汇总（第七篇2015.03.01）

about云每日一读汇总（第八篇2015.05.01）

about云每日一读汇总（第九篇2015.06.21）

about云每日一读汇总（第十篇2015.09.01）

about云每日一读汇总（第十一篇2015.11.14）

about云每日一读汇总（第十二篇2016.01.01）

about云每日一读汇总（第十三篇2016.04.01）

about云每日一读汇总（第十四篇2016.05.16）

about云每日一读汇总（第十五篇2016.07.18）


about云2016年12月02日每日一读

大数据从雏形到发展,详述传统数据仓库到大数据平台的转化及大数据的可视化应用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20447
1.  为什么要建设大数据平台？
2.  大数据平台的业务架构有哪几块？
3.  数据可视化的原因是什么？
4.  数据可视化的意义在于什么？

资源：
数据挖掘在电信行业手册
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20444

问答：
MOB
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20436

Hbase 2.0 官方哪里下载
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20437

宙斯调度系统在tomcat部署报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20440

CDH5版本 有没有全手动安装包和文档
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20441

有没有人 玩过Hbase的mob
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20442

[CDH4.5] 如何备份hdfs name hbase 请教下
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20443

移动HDFS数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20446


about云2016年11月30日每日一读

Spark Job调度方式及资源分配策略介绍
http://www.aboutyun.com/thread-20419-1-1.html
1、如何理解在应用程序间、程序内调度？
2、集群的资源分配有哪些方式？
3、资源分配策略有哪些？
4、如何配置调度池属性？

spark开发基础之Scala详解apply方法
http://www.aboutyun.com/thread-20423-1-1.html
1.什么情况下调用apply方法？
2.apply你认为有哪些作用？
3.方法调用属于apply什么功能？


资源：

魅族莫涵宇-魅族大数据平台架构实践
http://www.aboutyun.com/thread-20422-1-1.html

问答：

创建云实例后，登录后，使用ifconfig无IP地址，求大神指点
http://www.aboutyun.com/thread-20420-1-1.html

在mapreduce执行过程中，如何获取每个节点map产生结果的大小
http://www.aboutyun.com/thread-20421-1-1.html

ubuntu14部署ocfs2集群文件系统
http://www.aboutyun.com/thread-20418-1-1.html


about云2016年11月29日每日一读

HBase读性能优化策略：包括客户端、服务端及列族设计优化
http://www.aboutyun.com/thread-20412-1-1.html
1、读请求延迟较大存在在哪些场景？
2、scan缓存是否设置合理？
3、get请求是否可以使用批量请求？
4、请求是否可以显示指定列族或者列？
5、离线批量读取请求是否设置禁止缓存？
6、读请求是否均衡？
7、 BlockCache是否设置合理？
8、HFile文件是否太多？
9、 Compaction是否消耗系统资源过多？
10、 Bloomfilter是否设置？是否设置合理？
11、 Short-Circuit Local Read功能是否开启？
12、 Hedged Read功能是否开启？
13、数据本地率是否太低？



hbase热点问题(数据倾斜)解决方案---rowkey散列和预分区设计 Hbase的表会被
http://www.aboutyun.com/thread-20403-1-1.html

hive从入门到熟练
http://www.aboutyun.com/thread-20415-1-1.html

资源：

大数据核心技术与应用论坛—Hadoop与ElasticSearch的融合—卢亿雷
http://www.aboutyun.com/thread-20410-1-1.html

问答：

在Openstack上面创建了VM，该怎么取访问
http://www.aboutyun.com/thread-20404-1-1.html

Liberty新增加cinder节点，服务正常，但是容量在dashboard里显示没有增加
http://www.aboutyun.com/thread-20405-1-1.html

请教：怎么使用mapreduce分析三列数据获取最大值
http://www.aboutyun.com/thread-20406-1-1.html

openstack安装dashboard后访问horizon出错
http://www.aboutyun.com/thread-20407-1-1.html

Hive权限管理相关配置的疑惑
http://www.aboutyun.com/thread-20409-1-1.html

hadoop中如何将编译好的class分发到集群中的一台机器去执行，没有mapreduce,class...
http://www.aboutyun.com/thread-20413-1-1.html

hive 几个小问题，求解
http://www.aboutyun.com/thread-20414-1-1.html



about云2016年11月28日每日一读


数据分析入门需要了解的知识总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20400

1.什么是数据分析?

2.数据分析的目的是什么?

3.数据分析的步骤?

Storm 的消息可靠性保证机制测试
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20395

1.Storm有哪几种消息保证机制?

2.如何实现可靠的 Bolt？

3.Trident 中，Spout 和 State 分别有哪几种状态？

云硬盘启动与镜像启动源码分析及差异
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20390
1.从云硬盘启动实例，源码是如何实现的？
2.如何从镜像启动实例？
3.二者有何不同？

storm概念名词汇总及相关说明
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20385
1.你认为storm有哪些概念？
2.本文讲了哪些概念？
3.Nimbus的作用是什么？

安装cloudera-manager心得
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20393

资源：
华为云服务大数据解决方案
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20399

问答：
Missing artifact org.apache.hadoop:hadoop-common:jar:2.6.0-cdh5.5.1
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20382

openstack 创建实例（VM），报错如下,求大神解决
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20383

大数据体系架构师、培训师招募
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20384

openstack dashboard 汉化
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20386

hive 小文件问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20387

opemstack共享云硬盘
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20388

创建VM实例，出现以下出错，求大神解决，多谢
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20394

请各位大神给个详细的hadoop案例介绍，尤其是数据量及完成的job需要多长时间
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20392

大数据新人，求面试经验
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20391

cm安装报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20396

hiveserver2启动不了，急
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20397




about云2016年11月25日每日一读

spark开发基础之Scala快餐：开发环境Intellij IDEA 快捷键整理【收藏备查】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20380
1.如何设置断点调试Scala？
2.如何注释Scala？
3.如何格式化代码？
4.本文讲了哪些技巧？

Linux中搭建通过docker搭建hadoop分布式集群教程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20378

1.  启动docker可能出现哪些问题？如何解决？

2.  如何基于现有镜像创建新的镜像？

3.  搭建hadoop集群的步骤有哪些？

4. 如何设置ssh免密码登录 ？

5. 需要修改那些配置文件？

6. 如何判断集群正常启动了？

7. 如何解决重启集群后配置好的固定ip消失问题？

用cm安装cdh集群注意事项
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20376

资源：
HBase集群应用和优化经验-九翎
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20377

问答：
从dashboard上创建网络，提示： Unable to create the network. No tenant net...
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20372

hive在spark上运行文件丢失的问题？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20373

计算节点openstack-nova-compute起不来，求大神指点
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20374

CDH集群添加节点问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20375


about云2016年11月24日每日一读

使用机器学习算法和大数据工具集来预测已知的心脏疾病(附源码)
http://www.aboutyun.com/thread-20364-1-1.html
1. 使用什么样的数据集来进行预测？
2. 使用哪些工具与技术去实现预测系统？
3. 如何对预测系统进行设计架构？
4. 如何对训练集数据进行分析？
5. 如何构造模型对象并进行实际预测？
6. 对于这个预测系统有什么缺点？


资源：

老外nosql（Redis）视频2,3,4,5：redis基础|管理配置及构建
http://www.aboutyun.com/thread-20366-1-1.html

问答：

Windows+docker 怎么搭建Hadoop集群
http://www.aboutyun.com/thread-20365-1-1.html

hive on tez报错
http://www.aboutyun.com/thread-20367-1-1.html

hue中使用oozie执行sqoop job将oracle中的数据增量导入hbase
http://www.aboutyun.com/thread-20368-1-1.html

为何Reduce端的value值会用Iterator来遍历，不能用别的吗？
http://www.aboutyun.com/thread-20369-1-1.html


about云2016年11月23日每日一读

大数据批处理及流处理框架汇总及对比
http://www.aboutyun.com/thread-20357-1-1.html
1、大数据处理框架是什么？
2、如何理解批处理系统？
3、各框架系统的优势与局限有哪些？
4、各框架流处理系统、批处理模式有哪些特性？


资源：

老外nosql（Redis）视频1：redis介绍
http://www.aboutyun.com/thread-20361-1-1.html


问答：

spark streaming 是否可以按照不是时间片而是数据量处理
http://www.aboutyun.com/thread-20356-1-1.html

Hbase drop卡主
http://www.aboutyun.com/thread-20359-1-1.html

如何把hbase查询出来的结果放在一个list里面？
http://www.aboutyun.com/thread-20360-1-1.html


about云2016年11月22日每日一读

Scala构建并行机器学习系统
http://www.aboutyun.com/thread-20350-1-1.html
1、为什么使用Scala构建机器学习系统？
2、一个计算工作流需要哪些步骤？
3、使用训练数据进行分析的过程如何处理？


资源：

Spark平台在电信运营商的应用实践
http://www.aboutyun.com/thread-20354-1-1.html


问答：

[cdh5.2 hdfs] namenode 启动不了，日志不更新了！
http://www.aboutyun.com/thread-20346-1-1.html

spark怎么后台运行
http://www.aboutyun.com/thread-20351-1-1.html

怎么使用spyder搭建spark的开发环境啊
http://www.aboutyun.com/thread-20352-1-1.html

hive2.1.0编译报错
http://www.aboutyun.com/thread-20353-1-1.html


about云2016年11月21日每日一读

谈大数据及机器学习和人工智能带来的影响？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20333

1.不同规模的数据项目怎样选择合适的算法?

2.如何成为一名大数据工作者？

3.怎么看待机器学习和人工智能给人类带来的影响？

全自动安装基于newton的openstack
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20340

1.节点操作系统安装方法?

2.怎样安装controller节点？

3.这样安装computer节点？

flume搜集数据到hadoop HA可能出现的问题及解决办法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20327

spark开发基础之从Scala快餐序言
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20335

资源：
2016中国软件开发者白皮书
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20334

问答：
CDH管理不同硬件配置的机器组成的集群
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20324

hbase HTableInterface频繁新建和关闭报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20325

大家好 想请教个问题 N版openstack创建出来的实例 网络不通
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20326

fwaas plugin中代码中log 信息，写到哪里了？该怎么查看 ？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20328

Spark给分组传递函数进行计算
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20329

面试题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20330

求解：用spark-assembly-1.6.0-cdh5.8.0-hadoop2.6.0-cdh5.8.0.jar搭建Spark环境报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20331

[cdh5.2 问题求解] yran服务中 jobhistory server 起不来
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20338

[CDH 5.2] HDFS 中的namenode启动不了
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20341

关于hdfs上目录用户的变更问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20342

关于sequencefile存储格式问题咨询
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20343


about云2016年11月18日每日一读

OpenStack M版的Keystone V3 中引入了Domain增加admin角色的复杂度
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20311

1.  Domain，project，user，role，token 之间是什么关系?

2.  使用默认 policy.json 时候的 admin 的权限有哪些？

3.  使用 policy.v3cloudsample.json 时候的 admin 的权限有哪些？

4.  如何启用多域（multi-domain）？

5.  多域（multi-domain）操作有哪些？

用IDEA开发spark，源码提交任务到YARN
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20316
1.本文的环境包含哪些软件？
2.如何安装开发环境？
3.提交源码过程中遇到了哪些问题？

使用mapreduce分析日志统计ip个数
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20318
1.本文的需求是什么？
2.本文是如何实现分析日志统计ip个数的？
3.map和reduce分别完成了什么事情？

Oozie分布式任务的工作流——邮件篇
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20320

资源：
田毅-Spark开发及本地环境搭建指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20313

问答：
【小白求解】master和node的地址改后， 服务起来了，但是显示之前的地址超时
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20307

Fuel部署openstack网络的验证问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20308

Fuel部署Openstack遇到node untitled discovered dhcp server via eth0 with follo...
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20309

新手：win7下eclipse连接hadoop出现如下问题，还劳烦大神帮帮忙。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20310

求助：python 使用nohup 启动进程怎么获取pid
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20312

用IDEA开发spark，应该如何提交任务到YARN上？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20314

MapReduce面试题求教
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20315

python主进程结束，子进程继承了主进程的端口怎么破
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20317

hadoop启动时mv: cannot stat logs 跪求大牛哥答疑，非常感谢！
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20319



about云2016年11月17日每日一读

深度学习5种框架介绍包括官网，优缺点等
http://www.aboutyun.com/thread-20305-1-1.html
1.PaddlePaddle是什么？
2.TensorFlow的亮点是什么？有哪些优点和缺点？
3.本文介绍了哪些深度学习框架？

资源：

about云spark开发基础之Scala快餐
http://www.aboutyun.com/thread-20303-1-1.html

问答：

flume发送数据到kafka如何设置异步发送？
http://www.aboutyun.com/thread-20304-1-1.html


about云2016年11月16日每日一读
京东用大数据的方法解决【物流】建配送站的问题
http://www.aboutyun.com/thread-20295-1-1.html
1、大数据如何转化为智慧系统？
2、如何理解京东大数据平台架构？
3、如何构建智慧物流系统？

使用zabbix监控Flume
http://www.aboutyun.com/thread-20299-1-1.html


资源：

万象大数据应用实例
http://www.aboutyun.com/thread-20298-1-1.html



问答：

请教一下导出excel的问题
http://www.aboutyun.com/thread-20290-1-1.html

standalone和yarn模式提交任务出现问题
http://www.aboutyun.com/thread-20291-1-1.html

Hbase put 数据失败
http://www.aboutyun.com/thread-20292-1-1.html

hdfs内网集群的访问问题
http://www.aboutyun.com/thread-20294-1-1.html

sparkstreamin metrics 统计问题
http://www.aboutyun.com/thread-20296-1-1.html


about云2016年11月15日每日一读

RDD详解及在Spark中的地位和作用
http://www.aboutyun.com/thread-20282-1-1.html
1、RDD是什么？
2、为什么产生RDD？
3、RDD在spark是什么地位？
4、RDD在spark说是什么作用？
5、如何操作RDD？



资源：

openstack M版中文安装文档
http://www.aboutyun.com/thread-20283-1-1.html

智慧城市顶层设计
http://www.aboutyun.com/thread-20287-1-1.html

问答：

Sparksql是否配合etl跑数据仓库的分层数据？
http://www.aboutyun.com/thread-20275-1-1.html

cloudera-scm-agent启动失败
http://www.aboutyun.com/thread-20276-1-1.html

同步neutron 数据库报warn，请大神指点一下
http://www.aboutyun.com/thread-20277-1-1.html

HiveUDF异常FAILED: Execution Error, return code 1 from org.apache.hadoop.hive...
http://www.aboutyun.com/thread-20278-1-1.html

容量规划怎么做啊
http://www.aboutyun.com/thread-20281-1-1.html


如何通过mapreduce 分析各种类型(word,pdf等)数字的文档代码下载
http://www.aboutyun.com/thread-20288-1-1.html


about云2016年11月14日每日一读

如何通过mapreduce 分析各种类型(word,pdf等)数字的文档
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20273

1.什么是Jaql?

2.什么是Tika？

3.怎样创建并使用Jaql模块？

开发环境中[IDEA]调试Spark SQL及遇到问题解决办法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20266

1.为什么IDEA连着把spark-1.4.1的源码都编译了?
2.怎样把hive-site.xml文件"送"给IEDA？

3.怎样设置设置IEDA的JVM参数？

基于Hadoop生态系开发的通用数据摄取平台Gobblin入门
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20262
1.Gobblin是什么？
2.Gobblin Job流程包含哪些流程？
3.Gobblin 如何设计的，包含哪些功能？



推荐系统如何应用人工智能
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20261


2016年about云11月第02周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20269


资源：

基于Spark的用户上网WAP日志分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20272



问答：
SparkSql会生成很多的小文件，怎么解决哦？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20271


求助:java调用phoenix失败！
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20255


求教！！求大神告诉几个hadoop的命令！
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20256


map任务失败 Timed out after 600 secs Container released on a
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20257


各位大神，请教一下，solr有没有去重复的功能
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20258


Hbase 报错：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is ini...
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20259


各位大神！求帮我讲一道mysql的题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20263


idea调试Spark--sparksql
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20264


使用 MapReduce 统计其他类型文件
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20265


spark监控ganglia你们都哪些？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20270





about云2016年11月11日每日一读

将 Spark Streaming + Kafka direct 的 offset 存入Zookeeper并重用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20244
1. 使用Direct API时为什么需要见offset保存到Zookeeper中？
2. 如何将offset存入到Zookeeper中？
3. 如何解决Zookeeper中offset过期问题？

大数据岗位的面试总结【六个公司】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20249

资源：
算法之道
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20250

问答：
gobblin运行在yarn上报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20245

mapperreducer程序中能不能直接用主类的静态变量值，还是用Context传递值，这有什...
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20246

面试77个问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20247

intellij idea开发的spark应用spark-submit提交正常运行，直接在idea提交有问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20251



about云2016年11月10日每日一读

Spark 日志解析示例包括运行、输出结果、源代码
http://www.aboutyun.com/thread-20238-1-1.html
1.本文分析的日志格式什么样的？
2.如何通过代码实现的？
3.分析网页计分例子如何实现的？


大数据安全分析成未来方向
http://www.aboutyun.com/thread-20240-1-1.html

招scala培训讲师
http://www.aboutyun.com/thread-20234-1-1.html


资源：

spark开发基础之Scala资源汇总
http://www.aboutyun.com/thread-20233-1-1.html

移劢大数据平台架构实践
http://www.aboutyun.com/thread-20239-1-1.html

问答：

求一段日志分析代码
http://www.aboutyun.com/thread-20231-1-1.html

请问YARN和ZooKeeper之间的联系和区别
http://www.aboutyun.com/thread-20235-1-1.html


python调用命令跳出小黑窗，要如何隐藏？
http://www.aboutyun.com/thread-20236-1-1.html

hbase启动 Could not find or load main class .usr.java.packages.lib.amd64:.usr...
http://www.aboutyun.com/thread-20237-1-1.html

Hbase导入大量数据，regionserver异常奔溃
http://www.aboutyun.com/thread-20241-1-1.html

spark分析日志乱码
http://www.aboutyun.com/thread-20242-1-1.html


about云2016年11月09日每日一读

无监督式机器学习之聚类分析及Autoencoder应用方向介绍
http://www.aboutyun.com/thread-20222-1-1.html
1、什么是无监督式机器学习？
2、聚类分析的流程有哪些？
3、什么是Autoencoder算法？

spark开发基础之从关键字入门Scala
http://www.aboutyun.com/thread-20223-1-1.html
1.apply的作用是什么？
2.yield什么情况下使用？
3.partition如何使用？

资源：

中国智慧城市大数据应用市场研究白皮书
http://www.aboutyun.com/thread-20225-1-1.html

问答：

如何加快cinder删除卷的速度（liberty）
http://www.aboutyun.com/thread-20216-1-1.html

pyinstaller 打包exe文件的问题
http://www.aboutyun.com/thread-20219-1-1.html

jobhistoryserver正常启动，19888端口未占用，无法通过web访问，其他端口访问正常
http://www.aboutyun.com/thread-20220-1-1.html

又来提问了 = = 求大神科普一下关于libqb...
http://www.aboutyun.com/thread-20224-1-1.html

有比较雾计算（FOG）、移动边缘云计算（MEC）和微云计算（CLOUDLET）这些的区别的？
http://www.aboutyun.com/thread-20227-1-1.html

epel-release-7-6.noarch 是否出现问题了
http://www.aboutyun.com/thread-20229-1-1.html


about云2016年11月08日每日一读

spark开发基础之从Scala符号入门Scala
http://www.aboutyun.com/thread-20159-1-1.html
1.Scala中有哪些常见符号？
2.本文讲了哪些符号？
3.你对符号的理解是什么？
4.<-,->,=>,Int=,_ 它们含义是什么？用在什么地方？

如何使用Spark Streaming+ES构建App异常监控平台（以美团为例）
http://www.aboutyun.com/thread-20209-1-1.html

1. 为什么要选择Spark Streaming和Elasticsearch？

2. 如何解决异常重启和升级重导等问题带来的稳定性问题？

3. 为解决低延迟问题，需要在输入端和输出端做什么处理？

4. Elasticsearch在实时分析平台的优势是什么？

5. 如何提高整个平台的可扩展性？

Mangum OpenStack里比较热门的一个和Docker集成的新项目
http://www.aboutyun.com/thread-20210-1-1.html

资源：

Python 之 django-1-8入门
http://www.aboutyun.com/thread-20211-1-1.html

问答：

MapReduce 中文分词乱码
http://www.aboutyun.com/thread-20212-1-1.html

about云2016年11月07日每日一读

HBase RegionServer宕机恢复三部曲
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20207

1.HBase的故障恢复有哪三种不同模式？
2.HBase日志切分方法？

3.Distributed Log Replay解决了哪些问题？

世界上那些有才华的穷人
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20196
1、我们自己真正出众的才华是什么？
2、有几个人真正的清楚了解自己的才华是什么？
3、有才华，为什么会贫穷？
4、成功是什么？

数据挖掘就业解答及相关说明
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20199
1.数据挖掘主要是做算法还是做应用？分别都要求什么？
2.北上广以外的普通公司用的多吗？待遇如何？
3.和前端后端程序员比有什么区别？有什么优缺点？
4.目前在学习机器学习，如果想找数据挖掘方面的工作应该学习哪些内容？
5.hadoop,hive之类的需要学习吗？

资源：
谁说菜鸟不会数据分析-(完整)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20206

问答：
在windows下读写hbase 中文汉字
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20194

cinder list 显示名称字段不统一问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20197

重装新版本的JDK后could not open `C:\Program Files\Java\jre6\lib\i386\jvm.cfg
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20201

Hadoop 使用 Eclipse 提交作业
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20203

sparkStreaming 窗口函数问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20204

hiveql解析sql后生成的mapreduce
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20205





about云2016年11月04日每日一读

携程Storm实时大数据平台是如何实现的及遇到问题总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20187
1.为什么要做实时数据平台?
2.需要怎样的实时数据平台?
3.如何实现实时数据平台?
4.实现实时数据平台遇到了哪些问题？

资源：
集体智慧编程中文版【机器学习】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20188

问答：
Hadoop求教
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20184

sqoop 将hive数据导入mysql报错Can't parse input data: '633507'
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20185

HBase的汉字乱码问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20186

Centos7启动httpd后，登录dashboard，验证不通过
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20189

谁用过rundeck，请教kill job 问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20190



about云2016年11月03日每日一读

大数据架构师必读：大数据开源技术产生演进过程及背景介绍
http://www.aboutyun.com/thread-20176-1-1.html
1. 何为小数据处理？
2. 在大数据的浪潮中Hadoop 为何能够崛起？
3. 在Hadoop 显露出许多缺点时，我们该如何架构大数据系统？
4. 未来大数据架构的趋势是什么样的？



同一个数据中心如何使YARN和Mesos的协调工作
http://www.aboutyun.com/thread-20178-1-1.html
1.同一个数据中心使用Mesos和YARN是否会冲突？
2.Mesos和YARN发生冲突，本文是如何解决的？
3.Myriad的作用是什么？


hiveserver2 JDBC上的实践DBCP连接池
http://www.aboutyun.com/thread-20182-1-1.html


招云计算培训讲师
http://www.aboutyun.com/thread-20171-1-1.html

资源：


精通 Apache Spark【英文版】
http://www.aboutyun.com/thread-20179-1-1.html


问答：


CDH平台DATANODE数据块阀值参数设置
http://www.aboutyun.com/thread-20170-1-1.html


spark集群启动错误
http://www.aboutyun.com/thread-20174-1-1.html


在CDH集群上再部署一个mesos是否可行(跟yarn会有冲突吗)
http://www.aboutyun.com/thread-20175-1-1.html


求助关于pacemaker和corosync的问题
http://www.aboutyun.com/thread-20177-1-1.html


hiveserver2使用连接池的问题
http://www.aboutyun.com/thread-20180-1-1.html



about云2016年11月02日每日一读

淘宝大数据平台发展的三个阶段介绍
http://www.aboutyun.com/thread-20160-1-1.html
1、淘宝网数据仓库平台发展阶段有哪些？
2、如何理解天网调度系统架构？
3、如何理解云梯数据仓库、数据同步架构？
4、孔明灯解决方案重点流程有哪些？

Swarm Consul Shipyard配置Docker集群
http://www.aboutyun.com/thread-20165-1-1.html
1.consul镜像的作用是什么？
2.swarm的作用是什么？
3.如何实现管理docker节点？

资源：


Storm技术内幕与大数据实践
http://www.aboutyun.com/thread-20163-1-1.html

问答：

单个数据节点的2个挂载磁盘数据不均衡，怎么处理？
http://www.aboutyun.com/thread-20161-1-1.html

基于CDH5.x 下面使用eclipse 操作hive 创建表出现的问题及解决
http://www.aboutyun.com/thread-20162-1-1.html

执行shipyard自动部署脚本后，一直出现......
http://www.aboutyun.com/thread-20164-1-1.html


about云2016年11月01日每日一读

机器学习有哪些通用框架？
http://www.aboutyun.com/thread-20148-1-1.html
1、有哪些标签类型？
2、哪些指标可以评价一个框架的好坏？
3、特征有哪些类型？
4、如何选择好的模型？

使用ssh远程连接openstack云主机教程
http://www.aboutyun.com/thread-20156-1-1.html

在OpenStack上安装Ubuntu系统指导
http://www.aboutyun.com/thread-20157-1-1.html

资源：

学习openstack网络Neutron【openstack推荐书】
http://www.aboutyun.com/thread-20154-1-1.html

问答：

openstack M版创建云主机No valid host was found
http://www.aboutyun.com/thread-20145-1-1.html

hdfs sink权限问题
http://www.aboutyun.com/thread-20149-1-1.html

新手求救！困扰好几天了 用平台创建好的虚拟云主机 为什么连接不进去 ！！
http://www.aboutyun.com/thread-20150-1-1.html

cinder create volume大小问题:
http://www.aboutyun.com/thread-20151-1-1.html

line unknown SyntaxError: unexpected EOF while parsing
http://www.aboutyun.com/thread-20152-1-1.html

mapreduce报错 java.net.ConnectException: Connection refused
http://www.aboutyun.com/thread-20153-1-1.html

hive加载数据覆盖及重复的问题
http://www.aboutyun.com/thread-20155-1-1.html



about云2016年10月31日每日一读

一元一次线性方程的MapReduce实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20140

1.怎样打乱数据?

2.怎样实现一元一次线性回归?

3.怎样验证结果?

基于Spark的数据挖掘环境搭建
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20138

1.怎样配置hadoop插件?

2.怎样配置spark插件?

3.怎样配置scala插件?

资源：
spark之Scala-入门手册
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20143

问答：
2016年10月面试总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20139

sqoop1.99.7 dataSql语句加了双引号，导致数据迁移出错。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20141

执行shipyard自动部署脚本后一直出......，没反应，平时没有那么麻烦的啊，奇了怪了
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20142



about云2016年10月28日每日一读

Spark实现LDA实例
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20130
1. LDA主题模型算法简介
2. Spark实现LDA的GraphX基础
3. PySparkml库中Clustering LDA简介
4. LDA求解的优化器模型
5. Spark实现LDA的步骤
6. 使用pySpark实现LDA
7. 使用scala的Spark实现LDA

资源：
Sqoop中文手册
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20129

问答：
编译shipyard ui部分时出现以下错误，求大神解答，前几天明明还好好的~
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20125

从hbase中读取大量数据的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20126

为什么我的hbase如果检索rowkey的值一多就会卡死呢
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20127

flume个性化处理json数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20128





about云2016年10月27日每日一读

乐视分享：为何将Storm数据存储到 HBase
http://www.aboutyun.com/thread-20122-1-1.html
1. HBase 实时指标存储与传统方案 (Redis/MySQL) 对比有什么优势？
2. HBase 在写入时需要注意哪些？
3. HBase 的 Client 的特点有哪些？
4. Redis/Mysql 存储方案存在哪些缺点？

资源：

hadoop安装CDH5
http://www.aboutyun.com/thread-20121-1-1.html

神经网络与机器学习（原书第3版）[推荐]
http://www.aboutyun.com/thread-20120-1-1.html


问答：

退出cmd.exe后用python启动的进程也退出了
http://www.aboutyun.com/thread-20123-1-1.html

请教一个zookeeper连接太频繁会爆错误的问题
http://www.aboutyun.com/thread-20118-1-1.html

如何查看虚拟机的磁盘缓存模式
http://www.aboutyun.com/thread-20117-1-1.html


about云2016年10月26日每日一读

Kafka源码分析--Kafka client是如何基于NIO构建自己的network层
http://www.aboutyun.com/thread-20109-1-1.html
1、如何理解Network层的分层架构？
2、Network层组件与NIO组件的映射关系是什么？
3、Kafka Selector、NetworkClient实现思路有哪些？
4、连接检测&自动重连机制有哪些？


失效资源随时可反馈
http://www.aboutyun.com/thread-20110-1-1.html

资源：


Sqoop之Oracle导数入Hive
http://www.aboutyun.com/thread-20113-1-1.html

问答：

spark Phoenix
http://www.aboutyun.com/thread-20105-1-1.html

请教各位storm如何和hbase结合
http://www.aboutyun.com/thread-20106-1-1.html

问个问题..关于pid进程号的
http://www.aboutyun.com/thread-20111-1-1.html

importtsv 导数遇到的问题
http://www.aboutyun.com/thread-20112-1-1.html

在Docker上部署CDH ,,该是一个什么思路？
http://www.aboutyun.com/thread-20114-1-1.html
定时持久化队列消息到hdfs
http://www.aboutyun.com/thread-20115-1-1.html

about云2016年10月25日每日一读

基于spark用户协同过滤算法的实现
http://www.aboutyun.com/thread-20100-1-1.html

1、如何基于用户协同过滤的？

2、使用idea是如何打包的？

3、UserBase推荐算法主要做哪些工作？

4、如何运行jar？

5、运行jar时有哪些注意事项？

资源：

Storm源码分析书籍【适合入门推荐】
http://www.aboutyun.com/thread-20103-1-1.html

问答：

有大数据环境基础，想学习大数据相关数据挖掘，求学习路线和对应书籍，谢谢
http://www.aboutyun.com/thread-20096-1-1.html

求助，安装CDH出错
http://www.aboutyun.com/thread-20097-1-1.html

求助：Ignoring non-compliant parcel manifest: CDH-5.0.1-1.cdh5.0.1.p0.47
http://www.aboutyun.com/thread-20098-1-1.html

openstack M版创建云主机No valid host was found. There are not
http://www.aboutyun.com/thread-20099-1-1.html

MapReduce下的图像并行化处理相关问题。
http://www.aboutyun.com/thread-20101-1-1.html

storm集成卡夫卡报错 求解决方法
http://www.aboutyun.com/thread-20102-1-1.html


about云2016年10月24日每日一读

图数据分析在Spark生态系统的使用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20080
1、如何定义图数据?
2、图数据分析与传统数据的处理有哪些不同之处？
3、图数据分析是如何促进大数据和预测分析?
4、NoSQL图数据库、图数据查询、图数据分析和图数据可视化这四种图数据相关的概念吗?
5、在哪些受欢迎的用例数据处理中，图数据处理是更好解决的方案?
6、Spark GraphX程序库实现中还有哪些缺失特性?

openstack基础之python的多线程并发库函数——eventlet
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20085
1.什么是协程?

2. eventlet是做什么用的?

3.怎样通过eventlet实现一个爬虫?

Kafka源码分析Producer的网络层——JAVA NIO封装
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20088

1.Java NIO有哪些组件?

2.Unix环境有哪几种网络IO模型?

3.Selector和epoll在事件的注册上面有哪些区别?

资源：
学习spark-快速大数据分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20090

问答：
创建外部网络的时候为什么会有dhcp？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20075

sqoop export 到oracle update出错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20077

kafka队列消息存储到hdfs？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20078

oozie与kettle的比较，大家怎么看？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20081

Spark Streaming中读取本地文件，无法获取数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20082

CM初始化报log4j:ERROR Could not find value for key log4j.appender.A
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20083

先进制造业大数据应用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20084

关于Swarm TLS证书的问题，求大神帮忙解决
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20089


about云2016年10月20日每日一读

Hbase架构及设计实践
http://www.aboutyun.com/thread-20060-1-1.html
1. NOSQL是如何产生的以及Hbase 在NOSQL中的地位如何？
2. Hbase框架是如何架构出来的 ？
3. Hbase 是如何检索一条数据以及检索时间复杂度是多少？
4. 如何设计 Hbase 数据库？
5. 还有哪些HBase调优小技巧？

资源：

中国医药电商大数据分析报告
http://www.aboutyun.com/thread-20061-1-1.html


about云2016年10月19日每日一读

网易云对象存储方案和应用场景介绍
http://www.aboutyun.com/thread-20052-1-1.html
1、对象存储应用场景有哪些？
2、网易对象存储核心是什么？
3、DFS分布式文件系统哪些特性？
4、网易NOS系统架构提供哪些服务？


资源：

Scala编程指南第三版（2016）【英文】
http://www.aboutyun.com/thread-20054-1-1.html

问答：

关于安装hadoop2.6的乱码咨询
http://www.aboutyun.com/thread-20048-1-1.html

vcenter对接openstacknova-compute服务报错
http://www.aboutyun.com/thread-20049-1-1.html

虚机下hadoop集群如何实现机架感知？
http://www.aboutyun.com/thread-20055-1-1.html

如何用spark某些字段的回车去除
http://www.aboutyun.com/thread-20056-1-1.html

有人试过手动搭建neutron的网络么？
http://www.aboutyun.com/thread-20058-1-1.html

openstack 虚拟内核已使用数量问题
http://www.aboutyun.com/thread-20047-1-1.html


about云2016年10月18日每日一读


ElasticSearch  Java API 之 索引管理【 版本2.4.1】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20042
1.ElasticSearch如何实现管理索引的？
2.IndicesAdminClient定义了几种prepareXXX()方法作为创建请求的入口点?
3.类型存在API的作用是什么？
4.如何创建复杂索引？
5.如何关闭打开索引？
6.如何创建索引的别名？




资源：

Sqoop开发者指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20043


问答：
Spark Notebook 运行不起来
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20040


sqoop执行导入导出不执行mapreduce
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20044

楼主，用心了，实在感谢

点滴积累,感谢分享