about云每日一读汇总（第十八篇2017.01.05）

about云每日一读汇总（第一篇）

about云每日一读汇总（第二篇）

about云每日一读汇总（第三篇2014.10.20）

about云每日一读汇总（第四篇2014.12.10）

about云每日一读汇总（第五篇2015.01.01）

about云每日一读汇总（第六篇2015.02.01）

about云每日一读汇总（第七篇2015.03.01）

about云每日一读汇总（第八篇2015.05.01）

about云每日一读汇总（第九篇2015.06.21）

about云每日一读汇总（第十篇2015.09.01）

about云每日一读汇总（第十一篇2015.11.14）

about云每日一读汇总（第十二篇2016.01.01）

about云每日一读汇总（第十三篇2016.04.01）

about云每日一读汇总（第十四篇2016.05.16）

about云每日一读汇总（第十五篇2016.07.18）

about云每日一读汇总（第十六篇2016.10.18）

about云每日一读汇总（第十七篇2016.12.05）



about云2017年03月23日每日一读

HBase Compaction详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21324
1. Compaction作用和副作用是什么？
2.  Compaction流程是什么？
3. 触发时机是什么时候？
4. 如何选择合适HFile合并？
5. 如何挑选合适的线程池？
6. 如何执行HFile文件合并？



资源：
hadoop大数据分析框架
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21330



问答：

请教一个MR执行顺序的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21317


安装数据节点后节点无法运行
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21318



关于spark运行原理的请教
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21315


RDD如何修改持久方式？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21321


我 自己搭建好openstack N版本但是我感觉dashboard巨卡无比
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21322


请教，horizon源码如何2次开发
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21325


【求助】服务器断电后如何重启cloudera集群？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21326


elasticsearch是怎么在各个集群之间进行交互的。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21327


有什么好的入门的hadoop学习视频呀
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21328


dashboard 访问显示400
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21329





about云2017年03月22日每日一读

hbase 启动原理分析
http://www.aboutyun.com/thread-21306-1-1.html
1.hbase分配region工作由谁完成？
2.分配META表前的需要做什么准备工作？
3.如何实现分配META表？

spark streaming知识总结
http://www.aboutyun.com/thread-21307-1-1.html
1.DStreams的含义是什么？
2.DStreams提供哪两种类型的操作？
3.Transformations操作分为哪两种类型？
4.本文说了哪些输入源？
5.什么是batch？

Ubuntu 用户管理
http://www.aboutyun.com/thread-21308-1-1.html

源码解析openVswitch流表查询框架
http://www.aboutyun.com/thread-21309-1-1.html


资源：

spark core编程
http://www.aboutyun.com/thread-21312-1-1.html



问答：

hbase 关闭major_compaction操作后，手动执行合并的策略
http://www.aboutyun.com/thread-21310-1-1.html

求助 我使用shipyard源码生成镜像运行出错
http://www.aboutyun.com/thread-21311-1-1.html

求助，M版本horizion加panel问题
http://www.aboutyun.com/thread-21313-1-1.html


about云2017年03月21日每日一读

深度学习(7)-递归神经网络详解【零基础入门】
http://www.aboutyun.com/thread-21301-1-1.html

1.什么是递归神经网络?
2.递归神经网络的算法细节是什么？

3.怎样训练递归神经网络？

4.怎样实现递归神经网络？

5.递归神经网络有哪些应用场景？

资源：


hbase-hadoop database系统入门书籍
http://www.aboutyun.com/thread-21304-1-1.html

问答：

关于spark dag
http://www.aboutyun.com/thread-21299-1-1.html

spark straming 运行时的错误
http://www.aboutyun.com/thread-21302-1-1.html


about云2017年03月20日每日一读

深度学习(6)-长短时记忆网络(LSTM)详解【零基础入门】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21297
1.怎样实现长短时记忆网络?
2.怎样训练长短时记忆网络？

3.实现长短时记忆网络有哪几种方法？

机器学习驱动的编程MLDP——简介
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21294
1.深度学习技术如何有效地取代人工编写的程序代码?
2.可以通过范例习得程序的部分内容吗？

3.只通过范例可以习得完整的程序吗？

轻松了解AI
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21283

1.人工智能的定义是什么？

2.人工智能实现的2种主要方法是什么？

3.人工智能分类的特点是是什么？

2017年about云03月第03周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21296

资源：
cassandra查询语言
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21295

问答：
openstack n版 dashboard安装问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21280

spark history server页面显示时间错误请教
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21282

Hive 2.1.1创建表没有问题，但是show tables报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21286

使用Nodejs通过thrift框架访问HBase问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21284

hbase重启是否region要前进行重新分配
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21289

阿里云产品
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21287

mapreduce运行错误
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21292

获取Zookeeper 内数据乱码
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21293



about云2017年03月17日每日一读

hive如何配置支持事务及insert、update、delete
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21274
1.hive从哪个版本开始支持事务及行级更新？
2.如何配置Hive支持事务？
3.如何验证是否配置成功？

资源：
阿里巴巴数据挖掘工程师笔试及答案
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21276

问答：
请指导我对HDFS的理解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21266

openstack
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21269

openstack mitak 计算节点无法部署instance
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21271

DistributedFileSystem和FileSystem之间的区别
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21277

跑sparksql节点spark会被KILL,查看日志好像是内存太小，这要怎么破
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21278



about云2017年03月16日每日一读

深度学习(5)-卷积神经网络【零基础入门】
http://www.aboutyun.com/thread-21258-1-1.html
1. 什么是语言模型？
2. 循环神经网络是什么？
3. 如何训练循环神经网络？
4. 什么是基于RNN的语言模型
5. 如何实现RNN？

千锋教育：手把手教你学hadoop yarn
http://www.aboutyun.com/thread-21260-1-1.html

资源：

Spark-Streaming编程指南
http://www.aboutyun.com/thread-21257-1-1.html

问答：

怎么会是这样~~~~~
http://www.aboutyun.com/thread-21254-1-1.html

新人请教，创建云主机后控制台打不开，日志也没有
http://www.aboutyun.com/thread-21253-1-1.html

求助 ！急！你们肯定遇到过的，创建云主机失败，500错误，No valid host was found...
http://www.aboutyun.com/thread-21255-1-1.html

求助：kafka怎么监听所有地址的9092端口
http://www.aboutyun.com/thread-21256-1-1.html

二次开发中，页面的数据整理出来了，按钮之类的Action怎么添加，官网的文档看不懂!
http://www.aboutyun.com/thread-21261-1-1.html

hbase compaction 过程是否会将region删除
http://www.aboutyun.com/thread-21262-1-1.html

关于newton的一些事
http://www.aboutyun.com/thread-21263-1-1.html

import org.apache.spark.SparkContext._ 这条语句没有被引用
http://www.aboutyun.com/thread-21264-1-1.html


about云2017年03月15日每日一读

深度学习(4)-卷积神经网络【零基础入门】
http://www.aboutyun.com/thread-21241-1-1.html
1、卷积神经网络是什么？
2、卷积神经网络输出值如何计算？
3、卷积神经网络如何实现训练？
4、python如何实现卷积神经网络？

大数据Hadoop监控工具可靠吗？
http://www.aboutyun.com/thread-21245-1-1.html

大数据HBase集群管理工具
http://www.aboutyun.com/thread-21246-1-1.html

资源：


监控 ElasticSearch
http://www.aboutyun.com/thread-21244-1-1.html

问答：


修改Hbase时间戳
http://www.aboutyun.com/thread-21239-1-1.html

只用HDFS不用MapReduce，在生产环境可行吗？
http://www.aboutyun.com/thread-21242-1-1.html


运行wordcount报错
http://www.aboutyun.com/thread-21247-1-1.html

请教下 MR中分块和分片有啥区别呢
http://www.aboutyun.com/thread-21248-1-1.html

MR任务combile input records 和 map input records 个数比较
http://www.aboutyun.com/thread-21249-1-1.html


about云2017年03月14日每日一读

深度学习原理及实践应用
http://www.aboutyun.com/thread-21230-1-1.html
1.深度学习是什么？
2.深度学习用来解决哪些实际问题？
3.如何构建深度学习训练环境？
4.常用的深度学习框架有哪些？如何选择？
5.如何对深度学习的训练数据集进行管理？
6.如何实现深度学习的模型训练？
7.深度学习的技术如何在生产环境中应用？

资源：
ElasticSearch介绍、安装及基本应用
http://www.aboutyun.com/thread-21236-1-1.html

问答：

求解云主机驱动问题。。。
http://www.aboutyun.com/thread-21231-1-1.html


安装完dashboard，重启httpd失败，无法启动？？？
http://www.aboutyun.com/thread-21232-1-1.html


openstack dashboard创建云主机显示没有可用域nova
http://www.aboutyun.com/thread-21233-1-1.html

疑问】local有效 集群无效。sprakStream 实时监控hdfs文件增量获取不到数据
http://www.aboutyun.com/thread-21234-1-1.html

lz4编译后运行报错
http://www.aboutyun.com/thread-21235-1-1.html


请教关于数据存储的问题？
http://www.aboutyun.com/thread-21237-1-1.html


about云2017年03月13日每日一读

机器排序学习在电商搜索中的应用——1号店的搜索Ranking Model
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21223
1.机器排序学习有哪些特点?
2.机器排序学习的整个过程是怎样的？
3.机器排序学习适用哪些系统？

深度学习(3) -神经网络和反向传播算法【零基础入门】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21219
1.什么是神经元?
2.什么是神经网络？
3.神经网络的训练算法有哪些？

4.怎样用python实现神经网络？

5.怎样用神经网络识别手写数字？

2017年about云03月第02周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21225

数据倾斜学习总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21214

人工智能和新技术带来的革命
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21197
1.什么是深度学习技术？
2.深度学习的训练方式？
3.怎样搭建深度学习环境？
4.如何实现识别手写数字（MNIST）？


资源：
Hive入门：原理、实例介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21224

openstack排错总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21209

问答：
查看redis 集群内存脚本
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21212

OVS流表规则求解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21213

cpu core的理解？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21215

nova list报未经授权错误
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21216

nova_list报错求助！！！
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21217

spark-shell 连接集群出错。求大神指点
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21218

mahout 中recommend 第一参数用户为字符型问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21220

新人求助！苦
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21222

各位老师帮忙指点一下
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21210




about云2017年03月10日每日一读

深度学习(2) -线性单元和梯度下降【零基础入门】随机梯度下降算法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21198
1. 什么是线性单元？
2. 监督学习和无监督学习的区别是啥？
3. 线性单元的目标函数是什么？
4. 什么是梯度下降算法？
5. 什么是随机梯度下降算法？
6. 如何实现线性单元？

HBase 1.3.0版本正式发布
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21205

1.新版本提供了哪些新特性？

2.新版本在哪些方面有性能提升？

3.新版本在性能提升后表现如何？

利用HQL统计: 新增用户数，日活，留存率
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21204
1.每天新增用户数怎么实现？
2.日活怎么实现？
3.留存率怎么实现？

虚拟机docker 安装步骤
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21206

Spark MapReduce 排序性能测试比较
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21199

资源：
POSIX多线程程序设计
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21201

问答：
数据显示问题'1.0\x14\x14\x14\x14\x14\x14'
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21195

请问有没有人做过spark的性能测试
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21196

请问怎么修改openstack云主机的实例存储路径？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21200

有用Python操作hive或是SparkSQL的吗？求分享经验。。。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21202

openstack 怎么实现usb透传？现在用服务器搭建了平台，怎么实现云主机能访问U盘内容？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21203

运行mapreduce程序报错，求解答
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21207



about云2017年03月09日每日一读

深度学习(1) - 感知器介绍【零基础入门】
http://www.aboutyun.com/thread-21190-1-1.html
1. 深度学习是什么？
2. 感知器理论基础什么，如何实现自己感知器？

hbase合并region
http://www.aboutyun.com/thread-21188-1-1.html


资源：


Hive编程【英文】
http://www.aboutyun.com/thread-21191-1-1.html


问答：


hbase region导致磁盘Io过高，CPU 使用率过高，如何解决
http://www.aboutyun.com/thread-21185-1-1.html


请教！ 如何选择数据库？？
http://www.aboutyun.com/thread-21186-1-1.html


hadoop与web结合
http://www.aboutyun.com/thread-21187-1-1.html


Hbase region太多导致集群压力大，如何解决？
http://www.aboutyun.com/thread-21189-1-1.html


有什么好的办法真正隔离CPU、内存、IO和网络等资源？
http://www.aboutyun.com/thread-21192-1-1.html


about云2017年03月08日每日一读

StreamingContext创建的两种方式
http://www.aboutyun.com/thread-21171-1-1.html

Hive高级编程之 电商商品 蹦失率计算
http://www.aboutyun.com/thread-21175-1-1.html

数据分析学习路线及技术能力要求
http://www.aboutyun.com/thread-21179-1-1.html
1、数据分析的职位有哪些类型？
2、各职位需要什么能力？
3、数据分析学习路线是什么？
4、各技术点需要掌握的内容有哪些？


资源：

搜狗商业广告流式计算实践
http://www.aboutyun.com/thread-21183-1-1.html

问答：


关于数据挖掘的要求
http://www.aboutyun.com/thread-21172-1-1.html

spark 报错： Error while invoking RpcHandler#receive() on RPC
http://www.aboutyun.com/thread-21174-1-1.html

请教一个额外的JVM问题 谢谢哈
http://www.aboutyun.com/thread-21176-1-1.html

求助：kafka producer通过网络发送数据问题
http://www.aboutyun.com/thread-21178-1-1.html

spark-sql 支持insert into吗
http://www.aboutyun.com/thread-21180-1-1.html

获取软删除云主机列表
http://www.aboutyun.com/thread-21181-1-1.html


Openstack通过API获取token查询服务
http://www.aboutyun.com/thread-21170-1-1.html

启动spark报错，求解决
http://www.aboutyun.com/thread-21177-1-1.html


about云2017年03月07日每日一读

教你六步学会机器学习的模型选择和超参调整
http://www.aboutyun.com/thread-21164-1-1.html
1、机器学习常见的分类有哪些？
2、如何确定自己当前的问题需要哪类算法来解决？
3、不同类别的机器学习算法下分别包含哪些算法？
4、为什么需要对统一数据集采用多种可用算法？
5、特征工程是用来做什么的呢？
6、如何进行超参数优化？

Hive高级编程之 hive -f 传参
http://www.aboutyun.com/thread-21166-1-1.html

资源：

docker网络【英文书籍】
http://www.aboutyun.com/thread-21168-1-1.html

问答：

hadoop FileSystem和ClientProtocol的区别
http://www.aboutyun.com/thread-21165-1-1.html

dashboard登录出错
http://www.aboutyun.com/thread-21167-1-1.html



about云2017年03月06日每日一读

使用Spark Streaming + Elasticsearch搭建高可用、可扩展的App异常监控平台
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21151
1.怎样对iOS的Crash Log进行符号化处理?
2.怎样解决ES的写入瓶颈问题？

3.怎样做到高性能和可扩展？

集成Hive与Spark SQL及代码实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21155
1.怎样编译和配置HIVE?
2.怎样配置spark？

3.怎样开发spark？

2017年about云03月第01周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21156

Executor中core
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21158

spark streaming 学习资料汇总
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21140

让你真正明白spark streaming
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21141

资源：
hive实用-hadoop数据仓库指南【英文】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21160

问答：
Hbase启动后Hmaster可以启动，但是regionserver启动不了
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21147

CDH集群磁盘IO太高，CPU也很高，如何查询原因
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21149

ClouderaManager 时区问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21150

RDD迭代元算问题，求助大家
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21152

idea中编译报错：Error:java: java.lang.ArrayIndexOutOfBoundsException: 6813
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21153

关于mitaka的9696的事，求助大佬帮帮忙
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21154

openstack M版无法带卷创建实例 why
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21157

spark sql中rank() 函数SQLContext并不支持
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21159

用Virtuakbox安装Sandbox HDP2.5显示Failer to star LSB
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21162

CDH安装hue测试数据库连接报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21142

hbase hash散列后 如何scan 查询？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21143

用rest api连接sqoop server的时候提示404错误该怎么解决
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21144




about云2017年03月03日每日一读

spark学习中遇到的问题记录
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21132
1.spark优化的关键点是什么？
2.spark编译内存不够，该如何增大内存？
3.reduce task数目不合适该如何解决问题？

Oozie中的流控制
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21126

资源：
spark中spark-submit启动流程分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21129

问答：
无意中发现了一个BUG，求解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21127

OpenStack M版本ceilometer实行命令报404错误
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21128

CDH部署kerberos后，CM网页管理界面里的yarn 应用程序无法停止
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21130

创建实例时报错500，求大佬帮助
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21133

hive中查询数据，hdfs目录被锁住了
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21136




about云2017年03月01日每日一读

Kafka offset存储方式与获取消费实现
http://www.aboutyun.com/thread-21104-1-1.html
1、Kafka将消费的offset存储在Kafka的Topic中有何优势？
2、offset存储在Kafka的Topic中实现原理是什么？
3、如何实现获取这部分消费的 offset？

spark原理之spark主要模块及作用介绍
http://www.aboutyun.com/thread-21110-1-1.html
1.spark主要包含哪几个模块？
2.spark各个模块作用是什么？
3.spark通信通过什么框架实现？

资源：

about云资源集合
http://www.aboutyun.com/thread-21103-1-1.html

问答：

spark dataframe怪异问题
http://www.aboutyun.com/thread-21105-1-1.html

dashboard无法解析controller
http://www.aboutyun.com/thread-21106-1-1.html
openstack O版创建云主机报错

http://www.aboutyun.com/thread-21107-1-1.html

虚拟机启动无法获得ｉｐ
http://www.aboutyun.com/thread-21108-1-1.html


Sentinel Redis模式下的几个哨兵端口的连接一直增加
http://www.aboutyun.com/thread-21111-1-1.html


about云2017年02月28日每日一读
Flume 1.7 源码分析
http://www.aboutyun.com/thread-21095-1-1.html
1.如何配置maven获取源码？
2.本文认为flume启动包含哪两个步骤？
3.源码如何实现获取启动配置的？


kafka小知识总结
http://www.aboutyun.com/thread-21096-1-1.html

hadoop源码解析之配置信息处理
http://www.aboutyun.com/thread-21087-1-1.html

Scala中如何获取map中的keys和values值
http://www.aboutyun.com/thread-21097-1-1.html

资源：

Docker入门白皮书
http://www.aboutyun.com/thread-21094-1-1.html

问答：

求推荐学习算法好的一点的书籍，初学者
http://www.aboutyun.com/thread-21088-1-1.html

求推荐学习python的好的一点的教材，初学者
http://www.aboutyun.com/thread-21089-1-1.html

Spark Streaming使用sortByKey报错NullPointerException
http://www.aboutyun.com/thread-21092-1-1.html

java转大数据，面试遇到的一些生产环境中问题求解答
http://www.aboutyun.com/thread-21093-1-1.html

spark streaming程序运行一段时间挂了，如何自动启动
http://www.aboutyun.com/thread-21098-1-1.html

spakr on yarn : SparkException
http://www.aboutyun.com/thread-21099-1-1.html


about云2017年02月27日每日一读

如何在 Storm 运算节点中使用 J2SE 规则会话的方式调用ODM规则集
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21085
1.什么是Storm?
2.什么是RES？
3.怎样使用基于 J2SE 的规则调用规则集？

怎样使用Oozie4.2中新的操作类型整合spark与工作流
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21080
1.什么是Apache Oozie?
2.怎样定义工作流？

3.怎样配置Oozie作业？

Spark Sql系统入门4：spark应用程序中使用spark sql
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21046

1.你认为如何初始化spark sql？
2.不同的语言，实现方式都是什么？
3.spark sql语句如何实现在应用程序中使用？


2017年about云02月第04周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21084

基于Spark UI性能优化与调试——初级篇
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21083

资源：
Impala【入门英文版】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21082

问答：
1个用户同时访问200个API后得到一结果返回给用户，这用什么大数据技术呀？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21074

eclipse java scala混合编译报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21075

eclipse maven Scala编译出错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21076

spark与ganglia结合问题，以及spark监控的探讨
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21077

请教spark-sql的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21079

broker下线，Partition分配问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21081



about云2017年02月24日每日一读

透过源码分析Spark Application Web UI的Stages 信息
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21071
1.pendingTasksForExecutor是怎么来的，什么含义？
2.taskSetManager 的 locality levels是否包含 PROCESS_LOCAL?
3.sched.isExecutorAlive(_)干了什么？
4.taskSetManager 的 locality levels是否包含 NODE_LOCAL?
5.task的计算节点和task 的输入数据的节点位置关系包含哪些类型？

资源：
flume入门英文文档
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21070

问答：
想做大数据研发方面的工作，该怎么准备面试
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21066

val/var和def匿名函数的区别
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21067

[cdh5.7.5]不匹配的CDH版本：主机具备NONE，但角色预期为5
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21068

HDFS参数设置问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21069

请问 HBase开启kerberos认证后 zk是不是必须开啊？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21072




about云2017年02月23日每日一读

大数据时代的结构化存储—HBase在阿里的应用实践
http://www.aboutyun.com/thread-21057-1-1.html
1. Hbase的能力特点是什么？
2. 阿里哪些业务逻辑使用HBase？
3. HBase如何建设HA模式？
4. 数据传输管道设施是什么样的？
5. HBase 的性能和成本概况如何？

3个有用的TensorFlow On Spark 开源项目分析
http://www.aboutyun.com/thread-21058-1-1.html
1. 什么是TensorFlow？
2. TensorFlow On Spark出现的意义在于什么？
3. Yahoo公司开源的TensorFlowOnSpark有什么特点？
4. databricks 公司开源的的TensorFrames有什么特点？
5. github adatao团队开源的tensorspark有什么特点？



点击一个商品会有数据插入数据库,大量用户点击会造成单表负载高,如何分表达到负载
http://www.aboutyun.com/thread-21054-1-1.html

资源：

Spark Streaming入门及相关案例介绍
http://www.aboutyun.com/thread-21063-1-1.html

问答：

请教一个关于hbase的rest api的问题
http://www.aboutyun.com/thread-21059-1-1.html

flume求助！多行读取文件内容
http://www.aboutyun.com/thread-21060-1-1.html

请教spark RDD计算
http://www.aboutyun.com/thread-21061-1-1.html

CDH5.2集群如果重启后，在重新启动服务，会有失败情况
http://www.aboutyun.com/thread-21062-1-1.html


Mongodb web连接28017提示登录的用户名密码哪里预设置
http://www.aboutyun.com/thread-21064-1-1.html


about云2017年02月22日每日一读
阿里巴巴搜索中为何使用Flink及如何实践介绍
http://www.aboutyun.com/thread-21047-1-1.html
1、Flink在阿里巴巴搜索中如何应用？
2、如何选择一个框架来解决问题？
3、Blink是什么?
4、阿里巴巴的Flink未来计划是什么?

离线数据采集流程
http://www.aboutyun.com/thread-21048-1-1.html

资源：

基于OpenStack的公有云平台设计
http://www.aboutyun.com/thread-21050-1-1.html

大数据集群【hadoop、hbase、spark、hive，zookeeper、storm等】故障排除之端口详解
http://www.aboutyun.com/thread-21051-1-1.html

问答：


powerquery2013 如何连接kylin
http://www.aboutyun.com/thread-21045-1-1.html


about云2017年02月21日每日一读

spark sql运行计划精简
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21032
1.hive/console的作用是什么？
2.hive/console如何安装？
3.hive/console的原理是什么？
4.通过什么命令可以查看执行计划？
5.如何查看RDD的转换过程？

Sqoop1和Sqoop2的对比
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21035
1、Sqoop什么用途？
2、sqoop2比sqoop1有哪些改进？
3、sqoop2和sqoop1功能性上有哪些差异？
4、sqoop1和sqoop2框架有哪些差异？
5、sqoop1与sqoop2有哪些优缺点？
6、sqoop1与sqoop2差异有哪些？
7、sqoop1是如何部署、使用的？
8、sqoop2是如何部署、使用的？
9、Sqoop2有哪些核心概念？

青岛海信集团招聘大数据工程师5名
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21037

资源：

Hadoop2.x 让你真正明白yarn
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21038


问答：

nagios在check_ganglia的监控上的异常求解！
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21036

新人openstack horizon 二次开发求思路
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21040

求助spark
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21041

spark读取hbase大数据报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21043


about云2017年02月20日每日一读

成为专家与年龄无关，关键是做到什么？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21028
1.如何成为一个领域的专家?
2.为什么有的人工作 10年，仍然不是专家，而有的人 2年 时间，足够表现卓越？

3.为什么通往杰出和卓越成就的道路非常明确（比如使用刻意练习），但是只有少数人选择这样走下去？

storm kafka整合案例详解【附git源码】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21024
1.什么是Storm?
2.Storm的数据流是怎样的？

3.怎样利用Storm+Kafka+HDFS处理数据？

Spark Sql系统入门2：spark sql精简总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21002
1.spark有哪两个分支？
2.spark运行架构是什么？
3.spark包含哪四个模块？

大数据面试经验
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21021

让你真正理解什么是SparkContext, SQLContext 和HiveContext
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21018
1.你认为SparkContext的作用是什么？
2.SQLContext 和HiveContext的区别是什么？
3.SQLContext、HiveContext与SparkContext的区别是什么？

资源：
让你真正理解什么是SparkContext, SQLContext 和HiveContext
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21029

问答：
【求助】可以在外部的电脑上访问实例中发布的网站吗？（最近一直卡在这里没有进展）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21017

spark-submit参数的具体含义求解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21019

刚刚学习hadoop，搭了一个4台centos6.5虚拟机的集群，datanode启动后一会就自己退了
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21020

关于 SyslogUDPSource 的疑问?
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21022

安装hive 遇到的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21023

安装CDH时卡住了 求助
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21026

部署完cinder后创建不了实例
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21027



about云2017年02月17日每日一读

Spark Streaming中的常用函数讲解（共23个）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21011

1. Transformations 类的函数如何使用？

2. Window Operations 类的函数如何使用？

3. Join Operations 类的函数如何使用？

4. Output Operations 类的函数如何使用？

Scala入门：从HelloWorld开始【源码及编译】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21012
1.Scala是否运行在Java虚拟机上？
2.Scala编译后文件格式是什么？
3.如何反编译Scala?

资源：
Spark summit East 2017视频之二
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21013

问答：
咨询一个问题，关于namenode
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21004

scala class里面可以写main函数吗
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21007

关于使用Java操作Oozie的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21008

cloudera-manager5.5.2 hadoop配置修改失败
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21010

scala 使用sbt报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21014

CDH5.2安装时在集群配置初始化过程中，oozie初始化失败
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21015





about云2017年02月16日每日一读

Spark SQL 统计分析案例介绍
http://www.aboutyun.com/thread-20996-1-1.html
1. 为什么会出现 Spark SQL 这个模块？
2. 什么是Spark SQL/DataFrame？
3. 如何使用 Spark SQL 分析包含 5 亿条人口信息的结构化数据？
4. 如何连接多个 DataFrame 做更复杂的统计分析？

资源：

Spark summit East 2017视频之一：Women In Big Data Lunch及spark sql
http://www.aboutyun.com/thread-20994-1-1.html


问答：


如何通过hive清空elasticsearch中指定索引的数据
http://www.aboutyun.com/thread-21001-1-1.html


如何通过hive删除elasticsearch中的数据
http://www.aboutyun.com/thread-21000-1-1.html

通过CDH安装了HDFS，权限问题。
http://www.aboutyun.com/thread-20997-1-1.html

Pycharm上运行spark2.1自带的例子（basic.py）报AttributeError: 'function' obj...
http://www.aboutyun.com/thread-20995-1-1.html

Spark Standalone 读取分机文件失败
http://www.aboutyun.com/thread-20993-1-1.html

eclipse 配置lhaoop 出现这个问题？
http://www.aboutyun.com/thread-20991-1-1.html

掉坑多日，望大牛拯救。如何实现局域网中其他计算机访问openstack实例？
http://www.aboutyun.com/thread-20989-1-1.html


about云2017年02月15日每日一读

北京-大数据营销企业招募Hadoop工程师
http://www.aboutyun.com/thread-20978-1-1.html

spark开发环境中，如何将源码打包提交到集群
http://www.aboutyun.com/thread-20979-1-1.html
1、如何使用IDEA打包jar文件？
2、如何使用spark-submit提交任务？
3、spark-submit提交参数有哪些？

Spark Sql系统入门1：什么是spark sql及包含哪些组件
http://www.aboutyun.com/thread-20910-1-1.html
1.为什么会产生spark sql
2.sparkSQL包含哪些内容？
3.spark运行框架是什么？
4.spark sql包含哪些组件？
5.sparkSQL有哪两个分支？

学习大数据云技术国外网站下载经常中断重新下载问题
http://www.aboutyun.com/thread-20985-1-1.html


资源：


DevStack 如何使用Screen和重启服务
http://www.aboutyun.com/thread-20983-1-1.html


It十八掌大数据培训班无加密视频
http://www.aboutyun.com/thread-20986-1-1.html

问答：

请教一个spark 计数的小问题
http://www.aboutyun.com/thread-20976-1-1.html

hbase 计算1天的存储数据的大小
http://www.aboutyun.com/thread-20982-1-1.html

CDH集群删除节点，节点上的数据会跟着删除么
http://www.aboutyun.com/thread-20984-1-1.html


about云2017年02月14日每日一读

分析: DAGScheduler, TaskScheduler, SchedulerBackend
http://www.aboutyun.com/thread-20973-1-1.html
1、Runtime是如何执行的？
2、DAGScheduler主要职能有哪些？
3、TaskScheduler主要职能有哪些？
4、SchedulerBackend主要职能有哪些？

工作中总结的关于hive的优化方案
http://www.aboutyun.com/thread-20969-1-1.html

资源：

Spark SQL数据加载和保存实战
http://www.aboutyun.com/thread-20970-1-1.html


问答：

请教一下openstack毕节本自己实验玩玩，推荐款比较好点的笔记本
http://www.aboutyun.com/thread-20966-1-1.html

ganglia的监控页面有支持中文语言吗？如何设置
http://www.aboutyun.com/thread-20967-1-1.html

kafka.javaapi.producer.Producer和kafka.clients.producer.KafkaProducer的区别
http://www.aboutyun.com/thread-20968-1-1.html


about云2017年02月13日每日一读

2017最新Hadoop面试中经典的问题及答案
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20962
1.什么是Hadoop?
2.更智能&更大的数据中心架构与传统的数据仓库架构有何不同？

3.基于 Hadoop 的数据中心的好处是什么？

IntelliJ IDEA 多个Scala项目如何实现相互调用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20958
1.怎样用IntelliJ IDEA开发多个项目?
2.开发多个项目过程中有哪些注意事项？

3.多个项目之间的依赖关系是怎样的？

hive疑难杂症及解决方案
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20955

封装一个shell脚本去除hive中繁杂的select columns
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20959

资源：
Spark sql操作postgresql数据库【附源码】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20953

网络爬虫教程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20956

问答：
openstack部署后，安装instance总是Error ，大神解释一下
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20957

求大牛指教spark如何实现多层次分组？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20960

急等！openstack启动实例失败
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20961



about云2017年02月10日每日一读

携程在构建精准用户画像的实践经验
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20946
1.  携程为什么要做用户画像？
2.  携程用户画像产品架构分为哪几部分？
3.  携程用户画像口技术架构分为哪几部分？
4.  携程如何实现用户画像的信息采集？5. 携程如何实现用户画像的画像计算？
6. 携程如何实现用户画像的信息存储？
7. 携程如何实现用户画像的高可用查询？
8. 携程如何实现用户画像的监控和跟踪？

CDH5.1安装曾经出现问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20948

资源：
CDH5.1手工安装文档
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20947

问答：
（偏业务）针对跨天去重的计算如何做？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20943

OpenStack日志审计问题！！！！大神快来！！
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20944

为什么map没结束事reduce已经开始了？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20945

集成了kerberos的集群如何添加新主机
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20949

hbase region的RIT问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20950

openstack配置网卡问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20951





about云2017年02月09日每日一读

从源码角度解析SparkStreaming运行流程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20939
1. StreamingContext 如何获取数据？
2. receiverTrackerstart 底层如何实现？
3. receiverExecutorstart 底层如何实现？
4. StreamingContext 如何加载数据？




资源：

Spark-on-yarn-集群搭建详细过程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20940



问答：

请教个flatmap的问题。。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20938

hive中间压缩参数设置
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20941




about云2017年02月08日每日一读

使用Apache Beam SDK构建数据处理管道【开发文档】
http://www.aboutyun.com/thread-20931-1-1.html
1、如何理解BeamSDK？
2、如何创建pipeline对象？
3、如何使用PCollection对象？
4、如何应用Transform对象？


资源：

Cloudera Manager 架构设计和原理剖析
http://www.aboutyun.com/thread-20934-1-1.html



问答：

sqoop export 报错
http://www.aboutyun.com/thread-20928-1-1.html


CDH kerberos keytab文件的安全性求教
http://www.aboutyun.com/thread-20929-1-1.html


N版本创建虚拟机问题
http://www.aboutyun.com/thread-20930-1-1.html


瞎摸索 有一个疑问
http://www.aboutyun.com/thread-20932-1-1.html


关于hadoop集群硬件网络的问题
http://www.aboutyun.com/thread-20933-1-1.html



about云2017年02月07日每日一读

spark小知识总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20920
1.如何创建rdd？
2.什么是pair rdd?
3.如何获取数组指定列？
4.foreachRDD的作用是什么？


Spark RDD API中的Map和Reduce
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20923
1、RDD是什么？
2、如何创建RDD？
3、什么是mapPartitions？
4、什么是mapWith？
5、什么是flatmapPartitions？
6、什么是flatmapWith？



资源

CLOUDERA-Manager-中文手册
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20921



问答：

求大神指点：创建实例时怎么使用windows镜像，镜像要怎么上传
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20913


对于Pair RDD 如何对数据进行排序？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20916


求教一个hive建表的小问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20917


java版本 spark streaming 存mysql的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20918


saveAsTextFile 这个函数有问题。。求教啊。。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20919




about云2017年02月06日每日一读

常见数据挖掘面试题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20908
1.怎样从海量日志中提取访问次数最多的IP?
2.怎样从1G文件中提取出现频率最高的前100个词？

3.怎样在2.5亿个整数中找出不重复的整数？

Spark Standalone架构分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20905
1.RDD有哪些特性?
2.什么是计算抽象？

3.Spark核心组件之间的交互流程是怎样的？

spark core组件:RDD、DataFrame和DataSet介绍、场景与比较
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20902
1.rdd，dataframe,dataset在哪个版本被引入？
2.什么情况下使用rdd，dataframe,dataset？
3.它们有什么不同？

资源：
Spark大数据分析与内存计算【清华大学】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20909

问答：
怎样查看hbase下某一张表在各个子节点存储大小
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20899

求助执行bin/kafka-console-producer.sh 报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20900

请教一下spring的注入是向下，如何避免
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20901

有遇到这个小问题的吗 谢谢
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20903

新手求助该如何实现这个简单的逻辑？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20906



about云2017年02月03日每日一读

spark2.x比spark1.x做了哪些改进
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20895
1.spark2.0在引擎性能方面优化体现在什么方面？
2.spark2.0重构了哪些内容？
3.钨丝计划包含什么内容？

ELK5.1.2完整安装教程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20886

HDAOOP SIMPLIZE TOOLKIT hadoop mapreduce简化开发包
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20889

Hadoop2.x 让你真正明白yarn
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20891
1.hadoop1.x中mapreduce框架与yarn有什么共同点？
2.它们有什么不同点？
3.yarn中有哪些改变？
4.yarn中有哪些术语？


资源：
深入浅出spark【中国移动】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20897

问答：
ERROR (DiscoveryFailure): Could not determine a suitable URL for the plugin
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20885

mitaka创建镜像出错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20890

keystone配置时httpd启动失败的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20892

大量数据，同步更新，HADOOP怎么做合理？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20894




about云2017年01月25日每日一读

大数据集群【hadoop、hbase、spark、hive，zookeeper、storm等】故障排除之端口详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20880
1.如何测试端口是否是通的？
2.端口是否被暂用?
3.端口是否被打开?




为公司挖掘潜在客户的方法及相关介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20876
1、如何从 Twitter 上抓取推文？
2、OAuth 如何授权？
3、如何从 LinkedIn 提取公司信息？
4、有哪些推荐算法？
5、推荐流程是什么样子的？


kafka实现实时收集Spark Steaming任务日志
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20879
1、spark streaming任务日志遇到的问题有哪些？
2、spark streaming如何集中收集log？
3、如何配置apache log4j实现日志收集？


资源：

Hive & 性能【hortonworks】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20882



问答：
RowKey的设计成 散列 和 有序 不矛盾吗?
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20878












about云2017年01月24日每日一读

Spark机器学习入门4·分类模型(spark-shell)如何实现的
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20873
1.训练分类模型是如何实现的？
2.如何使用分类模型？
3.如何实现评估性能？



资源：
IBM：面向Java开发人员的Scala指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20872



about云2017年01月23日每日一读


Spark机器学习入门3·推荐引擎(spark-shell)如何实现的
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20871

1.怎样训练模型?

2.怎样使用模型？

3.怎样进行模型效果评估？

时空数据挖掘介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20853
时空数据挖掘为何重要？
时空数据挖掘的面临哪些问题？
时空数据挖掘本文有哪些案例？


时空数据挖掘的发展现状及时空预测的分类
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20863

1.什么是面向大数据的时空预测?
2.时空预测分为哪几类？

3.怎样使用IBM SPSS Modeler实现时空预测模型？

2017年about云01月第03周经典帖子总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20869


资源：
Storm+Kafka整合介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20868



问答：
hadoop错误No Route to Host连接不上yarn master:8031
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20862


hive org.apache.hive.com.esotericsoftware.kryo.kryoexception: encountered un...
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20849


mr任务数量求解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20851


关于kafka offset手动提交问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20852


新人请教，增加regionserver后hbase写入停止,找不到哪里报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20854


hadoop HA搭建时出现的问题，大神帮忙看看
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20856


咨询各位两个openstack的基础问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20857


dashoard日志显示登陆成功但是画面却是服务器出错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20864


for循环如何并发执行？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20866


CDH5.9.1 hbase 连接ZK错误
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20867






about云2017年01月20日每日一读

使用Spark进行数据挖掘之实现朴素贝叶斯算法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20839

1.  进行数据挖掘前需要了解哪些Spark基础？

2.  什么是朴素贝叶斯算法？

3.  如何理解“朴素”二字？

4.  如何使用Spark实现朴素贝叶斯算法？

hive抽取es数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20845

centos7 root用户空间不足解决方案
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20837

MYSQL安装步骤
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20840

资源：
elasticsearch权威指南-中文
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20843

问答：
新手搭建hadoop集群错误总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20831

找不扯淡的人一起学习spark
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20832

关于hive中insert into values()
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20833

elsaticsearch+head+x-pack
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20834

关于hdfs 原始数据的查看方法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20835

hive Driver类为什么不提供iterator功能
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20838

CDH5.9无法添加spark2服务
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20842

java版本如何将spark的处理结果存入mysql？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20844

Hive表建索引后，执行计划没有索引描述
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20846




about云2017年01月19日每日一读

Spark机器学习入门2·准备数据(pyspark)
http://www.aboutyun.com/thread-20825-1-1.html
1. 如何搭建准备环境？
2. 如何搭建运行环境？
3. 如何处理数据？

资源：
数据仓库（第3版）
http://www.aboutyun.com/thread-20829-1-1.html

问答：

MapReduce的结果如何可以导入到habse吗
http://www.aboutyun.com/thread-20822-1-1.html

ImportError: No module named win32com
http://www.aboutyun.com/thread-20823-1-1.html

spark thrift server的两个问题 求帮忙分析
http://www.aboutyun.com/thread-20824-1-1.html

yarn咨询
http://www.aboutyun.com/thread-20826-1-1.html

如何设置mapreduce日志
http://www.aboutyun.com/thread-20827-1-1.html

openstack swift quota配额问题
http://www.aboutyun.com/thread-20828-1-1.html



about云2017年01月18日每日一读

Kafka文档：Kafka Protocol实例分析【api整理汇总】
http://www.aboutyun.com/thread-20813-1-1.html
1、如何新建topic 生产、消费信息？
2、如何理解使用Metadata API？
3、如何使用Offset API（Aka ListOffset）？
4、如何应用Offset Commit/Fetch API？
5、如何通过Administrative API管理Kafka集群？

资源：

Elasticsearch服务器开发（第2版）
http://www.aboutyun.com/thread-20817-1-1.html

问答：

在eclipse执行spark-submit yarn-client出现错误
http://www.aboutyun.com/thread-20810-1-1.html

请问为什么spark一直找不到kafkautils包
http://www.aboutyun.com/thread-20811-1-1.html

Hbase shell 源码
http://www.aboutyun.com/thread-20812-1-1.html


求助！关于kafka发送数据丢失的问题
http://www.aboutyun.com/thread-20814-1-1.html

有谁搭建过简易的PAAS平台吗
http://www.aboutyun.com/thread-20815-1-1.html

新手求助。运行书上的例子出错了
http://www.aboutyun.com/thread-20818-1-1.html



about云2017年01月17日每日一读

about云日志分析项目准备：spark集群安装及常见配置项说明
http://www.aboutyun.com/thread-20807-1-1.html
1.spark有哪些进程？
2.spark配置文件中常用属性的含义是什么？
3.spark序列化哪种方式效率更高？


大数据框架【spark，hadoop，hive等】数据清洗适用场景介绍、对比及源码实现
http://www.aboutyun.com/thread-20808-1-1.html
1、如何防止Spark离线模型跑任务时，占用完集群所有资源？
2、大数据平台的数据源集中来源于哪些方面？
3、如何先通过某个用户最近30天的IP列表去找到使用相同IP频数最多的那一批用户列表呢？
4、如何结合关系网络的每个维度（IP、设备指纹、身份证、银行卡和加密隐私等等），去挖掘与该用户关联度最高的那一批用户列表？
5、如何对接产品标准化模型输出，让页面查询的效应时间变得更快些？
6、如何用Hive解决70%的数据清洗？
7、如何使用MapReduce来清洗特殊的数据？

资源：

hadoop调优参数列表统计
http://www.aboutyun.com/thread-20802-1-1.html

spark,hadoop框架基础之ProtoBuf开发者指南
http://www.aboutyun.com/thread-20806-1-1.html

问答：


求助 eclipse 用maven搭建scala程序报错
http://www.aboutyun.com/thread-20803-1-1.html

spark的shuffle
http://www.aboutyun.com/thread-20804-1-1.html

谁可以详细介绍下Hbase profbuf 吗
http://www.aboutyun.com/thread-20805-1-1.html


about云2017年01月16日每日一读

统一批处理和流处理的编程范式——顶级 Apache大数据开源项目ApacheBeam介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20795

1.什么是Apache Beam?

2.“WWWH”是什么？

3.如何通过BeamSDK实现“WWWH”？

改造zeppelin、spark和hive三端源代码,实现SQL based Authorization标准权限验证
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20799

1.什么是zeppelin?

2.怎样实现zeppelin多租户使用？

about云日志分析项目准备：Hadoop2.x集群安装及常见配置项说明
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20793
1.hadoop安装有哪些配置文件？
2.配置文件各自配置了哪些信息？总结它们的作用是什么？
3.配置文件都配置了哪些信息？

该如何少走弯路入门数据挖掘
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20792
1.文中提到了哪四种信仰？
2.这四个信仰对你是否有价值？
3.通过本文对数据挖掘了解多少？

资源：
hadoop调优参数列表统计
http://www.aboutyun.com/thread-20802-1-1.html

问答：
GC overhead limit exceeded错误请教
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20789

CDH的parcel对应组件版本太低。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20790

有没有研究coreos的呢
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20791

如何解析HFile文件呢，有没有什么工具可以使用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20794

Ubuntu装hadoop，用localhost能运行，用ip或主机名不能成功
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20798

Hadoop Eclipse环境搭建不起来，MapReduce location status updater
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20797



about云2017年01月13日每日一读

Spark架构简明分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20781

1.  RDD有哪些特性？

2.  如何理解Application、Job、Stage、TaskSet以及Task？

3.  Spark如何实现可插拔式的资源管理模块？

4.  Spark如何实现RPC通信模块？

5.  启动Standalone集群的流程是怎样的？

6.  Spark集群计算时涉及到哪些核心组件？这些核心组件是如何交互的？

7.  Spark Block模块的作用是什么？如何实现的？

资源：
Java并发编程的艺术
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20786

问答：
关于远程调用咨询
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20783

Hbase 目录
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20784

【求助】第一次启动hive时，超时错误。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20785




about云2017年01月12日每日一读

Kylin的Hive视图详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20773
1.为什么需要在Kylin创建Cube过程中使用Hive视图？
2.使用Hive视图，能够带来什么好处？
3.如何使用视图，使用视图有什么限制？



资源：
第一本Docker书
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20774



问答：

【求助】群集安装，检测不到master
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20772




about云2017年01月11日每日一读

Kylin在CDH5.7.5版本中的安装配置
http://www.aboutyun.com/thread-20764-1-1.html

在Kafka和ElasticSearch的框架上，Linked日志系统是如何演进的
http://www.aboutyun.com/thread-20767-1-1.html
1、为什么要做日志分析系统？
2、用ES和Kafka做日志分析遇到的问题有哪些？
3、如何确定日志分析系统的基本需求？
4、LinkedIn日志系统经过了哪些演进过程？
5、日志系统实施时应注意有哪些内容？

about云日志分析项目准备：scala安装
http://www.aboutyun.com/thread-20770-1-1.html
1.如何更新解压包的权限？
2.如何配置环境变量？
3.如何验证Scala是否安装成功？

资源：

Spark Summit Europe 2016视频分享
http://www.aboutyun.com/thread-20765-1-1.html

Kafka Cluster优化两三事
http://www.aboutyun.com/thread-20768-1-1.html

问答：

openstack 监控
http://www.aboutyun.com/thread-20766-1-1.html


about云2017年01月10日每日一读

Spring中spring-data-redis的使用
http://www.aboutyun.com/thread-20755-1-1.html
1、什么是spring-data-redis？
2、spring-data-redis依赖哪些jar？
3、如何使用spring-data-redis？

spark通过scala读csv文件
http://www.aboutyun.com/thread-20752-1-1.html

sparkstreaming数据通过Scala实现存储到数据库
http://www.aboutyun.com/thread-20753-1-1.html

资源：

实战Elasticsearch、Logstash、Kibana：分布式大数据搜索与日志挖掘及可视
http://www.aboutyun.com/thread-20761-1-1.html


问答：


spark+zookeeper实现HA应用场景多吗？
http://www.aboutyun.com/thread-20756-1-1.html


kylin的维度和度量怎么理解
http://www.aboutyun.com/thread-20757-1-1.html

求助】安装CM时，无法安装agent！
http://www.aboutyun.com/thread-20758-1-1.html

求住写个seqfile 范例 出现奇怪运行BUG！
http://www.aboutyun.com/thread-20759-1-1.html

关于hbase二级索引的理解，请指导
http://www.aboutyun.com/thread-20760-1-1.html


求助!!! 关于Hbase region
http://www.aboutyun.com/thread-20762-1-1.html


about云2017年01月09日每日一读

普通技术人员成长为架构师的必备技能和成长过程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20746

1.什么是架构?

2.架构师必须具备素质有哪些？

3.架构师的成长途径有哪些？

深度学习如何指导机器自动编写出能正确执行的代码
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20745

1.程序员是否会被机器取而代之?

2.机器码农如何理解需求？

3.机器码农如何根据需求秒速写出代码？

ETL工具Kettle初学者踩坑总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20743
1.  如何连接资源库？
2.  如何连接数据库？
3.  如何解决数据库连接更新不及时问题？
4.  如何解决Unable to read file错误？
5.  如何解决tinyint类型数据丢失问题？

about云日志分析项目准备高可靠centos7安装jdk1.8【rpm】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20740
1.rpm与tar包有什么区别？
2.如何rpm包？
3.如何为rpm指定路径安装？

程序员为什么写博客
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20738

CDH5.7.5 + tar包离线安装
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20741

KAFKA集群安装_CDH5.7.5
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20742

资源：
基于数据库的分布式计算系统
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20748

问答：
互联网+下，数据将如何安全存储？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20735

sqoop1.99.4错误:GENERIC_JDBC_CONNECTOR_0005:No column is found to partition data
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20744



about云2017年01月06日每日一读

ElasticSearch与hbase进行整合的一个搜索案例
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20731
1.  ElasticSearch和Hbase分别有有什么特点呢？
2.  如何安装一个ElasticSearch集群？
3.  如何导入索引？
4.  如何实现搜素？
5.  如何使用使用spring控制层处理？

资源：
学习Cloudera Impala
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20732

Apache-Ignite——新一代数据库缓存系统-论文
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20733

问答：
hive 表drop 失败
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20727

R语言是否能调用webservice？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20728

OpenStack+KVM架构，不同物理机下创建的windows虚拟机无法相互远程桌面和传输大文件
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20730




about云2017年01月05日每日一读

Apache Ignite介绍及与各种大数据技术【spark，redis，hadoop】的关系和对比
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20720
1.Apache Ignite 是什么？
2.Ignite和Hadoop以及Spark是什么关系？
3.Ignite与其它类似技术相比有哪些技术？



资源

Ceph 分布式存储实践指 分布式存储实践指 分布式存储实践指 分布式存储实践指 南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20721


hive要领【英文】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20722





about云2017年01月04日每日一读


Cloudera Impala源码分析: SimpleScheduler调度策略详解包括作用、接口及实现等
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20714
1、Scheduler任务中Distributed Plan、Scan Range是什么？
2、Scheduler基本接口有哪些？
3、QuerySchedule这个类如何理解？
4、SimpleScheduler接口如何实现的？



资源：
R语言常用统计方法实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20716



问答：

SparkSQL作为内存数据库的可行性？？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20712


secondnamenode界面没有checkpoint time，这是为啥？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20715



R语言如何对外提供统计服务？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20713

多谢分享

good,

太详细了 多谢

学习了

感谢分享

不能同意得更多