about云每日一读汇总（第十七篇2016.12.05）

about云每日一读汇总（第一篇）

about云每日一读汇总（第二篇）

about云每日一读汇总（第三篇2014.10.20）

about云每日一读汇总（第四篇2014.12.10）

about云每日一读汇总（第五篇2015.01.01）

about云每日一读汇总（第六篇2015.02.01）

about云每日一读汇总（第七篇2015.03.01）

about云每日一读汇总（第八篇2015.05.01）

about云每日一读汇总（第九篇2015.06.21）

about云每日一读汇总（第十篇2015.09.01）

about云每日一读汇总（第十一篇2015.11.14）

about云每日一读汇总（第十二篇2016.01.01）

about云每日一读汇总（第十三篇2016.04.01）

about云每日一读汇总（第十四篇2016.05.16）

about云每日一读汇总（第十五篇2016.07.18）

about云每日一读汇总（第十六篇2016.10.18）


about云2017年01月03日每日一读

日志数据从kafka到hive是如何实现的
http://www.aboutyun.com/thread-20701-1-1.html
1.数据从kafka到hive的背景是什么？
2.日志数据为何不能直接发送给hive？
3.如何将数据从kafka读到hive中？


Spark 2.1.0新特性
http://www.aboutyun.com/thread-20704-1-1.html

1.Spark 2.1.0有哪些主要改动?

2.Spark 2.1.0的性能和稳定性有哪些改进？

使用Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析【公安大数据】
http://www.aboutyun.com/thread-20705-1-1.html

1.公安实时运维平台整体架构是怎样的?

2.Logstash有哪些作用？

3.Spark处理分析分为哪几步？

Spark机器学习入门·编程(scala/java/python)实现分析商店购买记录
http://www.aboutyun.com/thread-20707-1-1.html
1.Scala是如何实现分析商店购买记录的？
2.对比Scala程序与Java程序实现差别？
3.三种语言各有什么特点？

rdo批量部署openstack后端存储nfs
http://www.aboutyun.com/thread-20710-1-1.html

资源：

Spark学习总结---入门
http://www.aboutyun.com/thread-20710-1-1.html

问答：

about云 有安卓版的吗 想手机下载
http://www.aboutyun.com/thread-20700-1-1.html

Spark新人关于Spark Stream应用的一些疑问，望大神帮忙解答，不胜感激
http://www.aboutyun.com/thread-20702-1-1.html


about云2016年12月30日每日一读

spark-jobserver入门教程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20686

1. spark-jobserver有哪些特性？

2. 如何安装spark-jobserver？

3. 如何使用跟job相关的一些resful？

4. 如何使用跟context相关的一些resful？

5. 如何对spark-jobserver做一些配置？

资源：
分布式算法【英文书籍899页】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20692

问答：
MR程序求指点
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20685

CDH中hbase和hdfs配置不匹配问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20687

Spark 统计系统解决方案，请教各位。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20689

多个spark程序，如何高效、有序的运行？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20690

如果我想控制mapreduce匹配数据的条目数该如何实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20691

关于fsimage 和edits 疑问
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20693

安装失败，无法进行身份验证
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20695




about云2016年12月29日每日一读

ELK结合Spark构建高可用架构及监控spark集群
http://www.aboutyun.com/thread-20679-1-1.html
1. ELK 系统是如何进行架构的？
2. 为什么ELK 在 Spark 集群中是高可用性构架？
3. ELK 可以监控 Spark 集群的哪些性能？
4. ELK 可以监控 Spark 集群的哪些作业？

资源：

Java 7并发编程实战手册
http://www.aboutyun.com/thread-20682-1-1.html


问答：

map的输出数据如果是自定义的类是运行不了的，改如何解决？？
http://www.aboutyun.com/thread-20678-1-1.html

启动yarn失败
http://www.aboutyun.com/thread-20680-1-1.html

for循环调用远程脚本第一次执行后卡住
http://www.aboutyun.com/thread-20681-1-1.html

求助jobserver
http://www.aboutyun.com/thread-20683-1-1.html


about云2016年12月28日每日一读

大数据架构师必读：医药企业大数据应用案例
http://www.aboutyun.com/thread-20669-1-1.html
1、IT系统信息化平台涉及内容有什么？
2、数据集成架构模型包括哪些部分？
3、业务系统部署实现功能有什么？
4、数据仓库建设应考虑的内容有哪些？
5、未来大数据应用如何扩展？


kafka0.9.0及0.10.0配置属性整理包括borker、Producer、Consumer配置【收藏版】
http://www.aboutyun.com/thread-20665-1-1.html
1.borker包含哪些属性？
2.Producer包含哪些属性？
3.Consumer如何配置？


kafka的topic中已经累积了很多消息确定初始Offset三种情况
http://www.aboutyun.com/thread-20668-1-1.html


资源：
并行计算导论
http://www.aboutyun.com/thread-20672-1-1.html

Java并发程序设计教程【阿里巴巴】
http://www.aboutyun.com/thread-20673-1-1.html

问答：


linux bridge 在centos上用brctl添加的网桥，重启后没有了。
http://www.aboutyun.com/thread-20667-1-1.html

vmware workstation 上创建的centos 7.2 ，新添加一块网卡。无法找到配置文件
http://www.aboutyun.com/thread-20670-1-1.html


hdfs文件系统空间大小为0，format好多次都不行
http://www.aboutyun.com/thread-20674-1-1.html

Hbase1.1.3+hadoop2.5.1，分布式安装，regionserver启动然后又挂掉。求解决！！！
http://www.aboutyun.com/thread-20675-1-1.html



about云2016年12月27日每日一读

KafkaUtils.createDirectStream比较及详解
http://www.aboutyun.com/thread-20664-1-1.html
1.KafkaUtils.createStream有什么优点和缺点？
2.KafkaUtils.createStream如何实现监控offset？
3.如何实现offset写入zookeeper？


Spark on YARN失败是如何分析问题及解决的
http://www.aboutyun.com/thread-20658-1-1.html
1、localizedPath是怎么得到的呢？
2、distribute函数里面的参数，分别对应哪些内容？
3、jars参数是怎么得到的呢？


资源：

Java 并发编程：设计原则与模式
http://www.aboutyun.com/thread-20659-1-1.html

问答：


spark并行计算的算法
http://www.aboutyun.com/thread-20663-1-1.html

求教spark新的资源调度算法
http://www.aboutyun.com/thread-20662-1-1.html

请教一下为什么flume每次都是运行一会就停了
http://www.aboutyun.com/thread-20661-1-1.html

关于sparksql on yarn生成大量.hive-staging文件问题
http://www.aboutyun.com/thread-20657-1-1.html

spark streaming redis 报异常
http://www.aboutyun.com/thread-20656-1-1.html



about云2016年12月26日每日一读


HBase使用经验总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20643
1.hbase表中的属性分别都是什么含义？
2.hbase中如何实现预分区？
3.hbase中本文采用了哪些优化方法？

分布式系统全链路监控介绍包括架构，原理等
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20646

1.分布式系统调用链监控的特点有哪些?

2.什么是全链路性能监控?

3.怎样做全链路性能监控架构?

centos7初步使用，设置快捷键
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20652
1.centos7是否有terminal快捷盘？
2.如何进入菜单创建快捷键？
3.快捷键对应程序路径错误会造成什么情况？

从源码角度分析OpenStack 中重启实例的两种方式区别【软重启和硬重启】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20653

1.“软重启”和“硬重启”在参数上有哪些区别?

2.“软重启”和“硬重启”中虚拟机状态有哪些不同?

资源：
Go并发编程实战
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20649

问答：
求hadoop资源
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20637

关于hadoop任务划分
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20638

CDH各个安装时参数自动配置，是根据一个怎样的规则来定的，求教
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20641

关于kafka的group管理，有什么好办法？？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20642

openstack mitaka版本nova reset api报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20644

Hbase 小疑问汇总
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20645





about云2016年12月23日每日一读

SQL on Hadoop性能瓶颈点分析及解决方法总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20631

1. CPU、网络、硬盘等在在Hadoop系统进行SQL运算时负责的工作有哪些？

2. 在Hadoop集群中提升SQL的执行性能需要注意哪几点？

3. 如何在SQL中减少数据访问？

4. 如何在SQL中返回更少的数据？

5. 如何在SQL中减少交互次数？

6. 如何在SQL中减少数据库服务器?

资源：
sas学习资料
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20627

问答：
如何把hbase 的二进制文件 转换为可读的
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20623

openstack手动安装时在glance中上传image出现了错误，请问如何解决
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20624

Pig 导出Hbase表报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20625

Ubuntu 14.04.5 LTS 安装quantum失败
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20628

求问Hbase的client可以传递自定义参数到server端吗
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20632

求助如何判断使用source type 的最佳方式
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20633



about云2016年12月22日每日一读

Dubbo入门：一个分布式服务框架
http://www.aboutyun.com/thread-20612-1-1.html
1. Dubbo是什么？
2. Dubbo能做什么？
3.dubbo的架构包含哪些内容？
4.dubbo如何使用？



资源：

kafka中文文档
http://www.aboutyun.com/thread-20613-1-1.html


问答：

RecordReader 里的initinitialize 为什么回执行了两次？？
http://www.aboutyun.com/thread-20614-1-1.html

mapreduce 启动信息的一些不解的地方，求指教
http://www.aboutyun.com/thread-20615-1-1.html

申请浮动ip时，是否可以指定ip？
http://www.aboutyun.com/thread-20618-1-1.html

hbase安装启动报错，ClusterId read in ZooKeeper is null
http://www.aboutyun.com/thread-20619-1-1.html

hadoop分布式集群已经搭建好，没有项目，如何自学
http://www.aboutyun.com/thread-20621-1-1.html

glance上传镜像提示Invalid OpenStack Identity credentials.
http://www.aboutyun.com/thread-20611-1-1.html


about云2016年12月21日每日一读


利用可视化方法选择机器学习算法
http://www.aboutyun.com/thread-20601-1-1.html
1、如何判断选择初始模型？
2、使用哪种模型来拟合数据？
3、如何获取免费样本数据集？
4、可视化图表有哪些？



资源：

银行客户画像应用
http://www.aboutyun.com/thread-20606-1-1.html



问答：

Spark 运行日志问题求助（关于控制台和stderr）
http://www.aboutyun.com/thread-20597-1-1.html


求助！spark 提交任务到集群报错
http://www.aboutyun.com/thread-20598-1-1.html


cdh 集群起不来了 求有经验的朋友帮帮忙（无法发出查询： hostmonitor 未运行
http://www.aboutyun.com/thread-20599-1-1.html


Hbase shell 启动报错，使用status命令报 master is initializing
http://www.aboutyun.com/thread-20600-1-1.html


关于HDFS的shell参数
http://www.aboutyun.com/thread-20602-1-1.html


hadoop在windows下安装碰到的问题
http://www.aboutyun.com/thread-20603-1-1.html


hbase 数据存储的位置
http://www.aboutyun.com/thread-20607-1-1.html


macOS上zookeeper运行延迟5秒
http://www.aboutyun.com/thread-20608-1-1.html


glance上次镜像提示Invalid OpenStack Identity credentials
http://www.aboutyun.com/thread-20609-1-1.html





about云2016年12月20日每日一读

部署kafka常见问答
http://www.aboutyun.com/thread-20591-1-1.html
1、如何对Kafka Broker上持久化的数据进行加密
2、Kafka是否支持跨数据中心的可用性
3、Kafka支持哪些类型的数据转换
4、Kafka支持哪些类型的数据转换
5、如何通过Kafka发送大消息或者超大负荷量？
6、Kafka是否支持MQTT或JMS协议？

资源：

CDH5.8.0安装文档
http://www.aboutyun.com/thread-20586-1-1.html

数据挖掘：概念与技术（第3版）
http://www.aboutyun.com/thread-20592-1-1.html

十道海量数据处理面试题
http://www.aboutyun.com/thread-20588-1-1.html

问答：

关于HDFS下生成文件数量的一些疑问？
http://www.aboutyun.com/thread-20590-1-1.html

kafka很迷惑，请高手指点！
http://www.aboutyun.com/thread-20593-1-1.html



about云2016年12月19日每日一读

利用SparkStreaming监控hdfs目录，实现实时wordCount计算
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20583

1.怎样创建StreamingContext?

2.怎样Spark Streaming处理数据?

3.怎样解决从checkpoint目录读取应用信息，无法初始化ShuffleDStream导致的出错?

利用Kylin从Kafka读取Twitter流式数据并实时构建数据、分析展示
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20581

1.怎样创建TwitterAPP?

2.怎样利用Kylin的WebUI来创建数据模型、定义Cube并进行定时的Cube构建?

3.怎样基于EChart和Apache Kylin REST API开发前端展示webapp?

Spark TopK详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20572
1.本文的问题背景是什么？
2.本文中问题有哪三种解决办法？
3.三个思路有什么不同？

spark json文件parquet文件，和常用的文件，jdbc等数据源
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20573

资源：
CDH5.8.0安装文档
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20586

问答：
有没有哪位大神在使用kylin
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20569

kafka producer 发布消息的时候报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20568

hadoop重写recordwrite时 对text类型的处理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20575

将所有依赖包都打入jar包之后运行程序提示找不到类
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20576

MR中的Context类到底是谁？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20577

调试mapreduce程序碰到很奇葩的问题。。。求帮忙看看代码。。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20578

我用虚拟机 配了5台Linux ，然后用mac 电脑访问集群,
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20580

Newton+Ovs 创建虚拟机失败。内附配置及错误信息
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20582



about云2016年12月16日每日一读

kafka怎么样将用户定义的时间转化为集群内部的offset
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20563
1. kafka根据timestamp来得到offset的原理是什么？
2. timestamp为-1和-2分别表示什么意思？
3. timestamp和offset的对应关系是如何存储的？
4. 如何寻找最近的一个满足 timestamp < target_timestamp 的 index？

资源：
SPARK-大数据处理引擎(初级)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20565

华为Docker进阶与实战
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20566

问答：
SyntaxError: invalid or missing encoding declaration
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20562





about云2016年12月15日每日一读

sparkStreaming 连接数据库遇到的问题和解决方法
http://www.aboutyun.com/thread-20555-1-1.html
1. 在使用destream.foreachrdd 连接数据库时经常出现的错误时什么？
2. 如何解决上面的错误？


资源：

《golang 在京东列表页的实践》
http://www.aboutyun.com/thread-20557-1-1.html

问答：

Hive启动报错
http://www.aboutyun.com/thread-20553-1-1.html

kilo版 identity v3 如何获得tokenId？
http://www.aboutyun.com/thread-20554-1-1.html

请教熟悉mapreduce的大牛Configuration类的get方法问题~
http://www.aboutyun.com/thread-20556-1-1.html




about云2016年12月14日每日一读

netty绑定端口及服务启动源码分析
http://www.aboutyun.com/thread-20546-1-1.html
1、我们为什么使用netty？
2、netty是如何绑定端口？
3、netty如何启动服务？
4、netty有哪些核心组件？

about云日志分析项目准备3：centos初步使用
http://www.aboutyun.com/thread-20551-1-1.html

资源：

Doing 数据科学
http://www.aboutyun.com/thread-20547-1-1.html

SCALA下划线应用场景
http://www.aboutyun.com/thread-20548-1-1.html


问答：

问问：通过JAVA 的API读取HDFS上的文件报错
http://www.aboutyun.com/thread-20543-1-1.html

请问关于rest api认证的问题，一直是404错误
http://www.aboutyun.com/thread-20544-1-1.html

在线统计系统推荐方案
http://www.aboutyun.com/thread-20545-1-1.html

有没有大说下hadoop shell操作命令代码怎么看
http://www.aboutyun.com/thread-20549-1-1.html





about云2016年12月13日每日一读

Oozie运用实战
http://www.aboutyun.com/thread-20537-1-1.html
1、Oozie如何安装配置？
2、如何自定义实现workflow？
3、如何实现shell action
4、如何简单实现DAG图？
5、oozie的coordinator如何基于时间或者数据调度的workflow？


资源：

ebay构建开源分布式实时预警平台实践
http://www.aboutyun.com/thread-20539-1-1.html

CDH-的Cloudera-Manager免费与收费版的对比表
http://www.aboutyun.com/thread-20540-1-1.html

问答：

spark job history 显示的时间不正确
http://www.aboutyun.com/thread-20534-1-1.html

单节点部署OpenStack，Dashboard提示无法连接到neutron
http://www.aboutyun.com/thread-20535-1-1.html

eclipse 下执行mapreduce 报错
http://www.aboutyun.com/thread-20536-1-1.html

rpm 安装MySQL-Python 失败
http://www.aboutyun.com/thread-20538-1-1.html



about云2016年12月12日每日一读

新加坡利用大数据协助诊断地铁故障案例
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20528

1.怎样利用python做数据的初始处理?

2.怎样利用python做数据的初始处理?

3.怎样利用python检验假说?

从RDD到输出结果，探究Spark的计算过程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20524

1.Spark的计算过程是怎样的?

2.Spark中的任务调度分哪几个层次?

3.Spark是怎样提高计算性能的?

从业务逻辑讲解Storm的滑动窗口
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20519
1.Topology如何动态定义时间片?
2.如何设计发射出去的值?
3.本文的业务逻辑是什么？

Spark2.0配置&启动脚本分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20522

资源：
Docker实战书籍【英文版】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20529

问答：
请教大神 storm如何实现top n 统计？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20513

有关job.jar和job.xml的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20514

windows访问cloudera spark
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20515

spark任务执行的时候jar包的加载顺序问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20517

hbase 根据table设置HDFS副本数
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20518

CDH支持java8吗？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20520

[qiujie]zookeeper 配置分布式，但是启动时standalone
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20521

hadoop版本发展完整版
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20527




about云2016年12月09日每日一读

HBase数据模型特性及表设计思路
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20485
1、如何理解HBase分布式nosql数据库？
2、HBase数据模型如何理解？
3、HBase的表设计中需要注意哪些问题？
4、如何设计几种表结构？
5、HBase关键特性有哪些？

深入了解京东商品搜索引擎的架构
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20466

1.京东商品搜索引擎的整体架构是怎样的?

2.京东搜索索引服务系统分为哪几个阶段?

3.京东基于内存和线程池的搜索服务遇到哪些瓶颈，怎样优化?

数据分析师知识结构体系整理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20498
1. 如何进行数据采集？
2. 采集到的数据如何存储？
3. 如何提取数据？
4. 如何进行数据挖掘？
5. 如何进行数据分析？
6. 数据展现形式是什么？
7. 数据的应用价值在哪？

使用spark实现max/min/mean/topN等经典mapreduce问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20507
1.  使用spark如何实现最大值最小值问题？
2.  使用spark如何实现平均值问题？
3.  使用spark如何实现topN问题？

storm定时的三种方式及tick详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20502
1.tick是什么功能？
2.如何指定某个bolt每隔一段时间做一些操作？
3.如何实现Topology中的每个bolt都每隔一段时间做一些操作？



Hadoop-Impala让分区最优化的方法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20474
1、什么时候使用分区表?
2、在Impala的SQL语法，分区影响哪些语句？
3、静态和动态分区子句什么区别？
4、分区的子目录是什么权限？
5、什么是分区精简？
6、如何检查分区修剪对于查询的有效性？
7、检查是否需要对查询进行分区修剪？
8、什么SQL构造分区修剪工作？
9、如何动态分区修剪？
10、如何选择分区键列
11、分区有哪些不同文件格式？
12、如何管理分区?




资源：

Elasticsearch之kibana中文指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20511


JAVA并发编程实践（电子工业出版社）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20499


Spark大数据中文分词统计Scala语言工程源码
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20476




基于FlumeKafkaSpark-的分布式日志流处理系统的设计与实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20487


Spark Summit East 2016 PPT【40文档下载】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20465



问答：

求救！！！HBASE报错！！！！
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20491





about云2016年12月09日每日一读

使用spark实现max/min/mean/topN等经典mapreduce问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20507
1.  使用spark如何实现最大值最小值问题？
2.  使用spark如何实现平均值问题？
3.  使用spark如何实现topN问题？

资源：
Elasticsearch之kibana中文指南
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20511

问题：
哪位大神看一下我的hadoop启动hdfs总是失败，下面是log文件
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20506

请问hbase用java api如何实现批量插入数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20508






about云2016年12月08日每日一读

数据分析师知识结构体系整理
http://www.aboutyun.com/thread-20498-1-1.html
1. 如何进行数据采集？
2. 采集到的数据如何存储？
3. 如何提取数据？
4. 如何进行数据挖掘？
5. 如何进行数据分析？
6. 数据展现形式是什么？
7. 数据的应用价值在哪？

storm定时的三种方式及tick详解
http://www.aboutyun.com/thread-20502-1-1.html
1.tick是什么功能？
2.如何指定某个bolt每隔一段时间做一些操作？
3.如何实现Topology中的每个bolt都每隔一段时间做一些操作？


资源:

JAVA并发编程实践（电子工业出版社）
http://www.aboutyun.com/thread-20499-1-1.html

问答：

如何快速把windows日志传到hdfs中
http://www.aboutyun.com/thread-20494-1-1.html

phoenix创建hbase表的主键问题
http://www.aboutyun.com/thread-20495-1-1.html

storm请问如何定时执行emit操作？
http://www.aboutyun.com/thread-20497-1-1.html


cloudera manager 启动agent服务失败
http://www.aboutyun.com/thread-20501-1-1.html


storm的拓扑deecutors大小设计
http://www.aboutyun.com/thread-20503-1-1.html

kabana查询问题，求大神解答
http://www.aboutyun.com/thread-20504-1-1.html





about云2016年12月07日每日一读

HBase数据模型特性及表设计思路
http://www.aboutyun.com/thread-20485-1-1.html
1、如何理解HBase分布式nosql数据库？
2、HBase数据模型如何理解？
3、HBase的表设计中需要注意哪些问题？
4、如何设计几种表结构？
5、HBase关键特性有哪些？

改善机器学习预测模型的技巧
http://www.aboutyun.com/thread-20484-1-1.html
1、预测性建模的首要问题是什么？
2、机器学习性能改善内容有哪方面？
3、数据、算法、调参、组装策略包含哪些内容？
4、提升性能简程是什么？



资源：

基于FlumeKafkaSpark-的分布式日志流处理系统的设计与实现
http://www.aboutyun.com/thread-20487-1-1.html

问答：


求救！！！HBASE报错！！！！
http://www.aboutyun.com/thread-20491-1-1.html

CDH 5.7.0中如何设置NameNode GC参数
http://www.aboutyun.com/thread-20490-1-1.html

【求助】Cloudera manager 时间格式
http://www.aboutyun.com/thread-20488-1-1.html

求教，google cluster trace的使用！
http://www.aboutyun.com/thread-20486-1-1.html

《mapreduce设计模式》 的示例数据集上哪能下载到啊？ 谢谢
http://www.aboutyun.com/thread-20482-1-1.html

遇到个问题，一个是关于sqoop抽数的，另一个入题2，请大神们指点一下
http://www.aboutyun.com/thread-20481-1-1.html





about云2016年12月05日每日一读


Hadoop-Impala让分区最优化的方法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20474
1、什么时候使用分区表?
2、在Impala的SQL语法，分区影响哪些语句？
3、静态和动态分区子句什么区别？
4、分区的子目录是什么权限？
5、什么是分区精简？
6、如何检查分区修剪对于查询的有效性？
7、检查是否需要对查询进行分区修剪？
8、什么SQL构造分区修剪工作？
9、如何动态分区修剪？
10、如何选择分区键列
11、分区有哪些不同文件格式？
12、如何管理分区?



大数据云技术基础之：Linux操作系统选择
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20475


资源：

Spark大数据中文分词统计Scala语言工程源码
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20476



问答：

openstack 实例中的流量走向，求大神指点
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20468


【菜鸟问题】openstack如何分配计算任务的
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20469


求教Inputformat类中的调试输出问题！！急~~
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20472


mapreduce执行jar程序，一直处于Running job状态，求助！！
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20473


求助 spark metrics 里的一些key是什么意思啊
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20478


求助：执行 #neutron agent-list后network节点的openvswitch一直是down
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20479






about云2016年12月05日每日一读

Spark实践经验和Spark原理为依据调优spark
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20451
1.Executor和分区该如何调优？
2.缓存和数据本地性该如何调整？
3.在TaskSet级别Spark提供了哪两种模式？

spark开发基础之Scala偏函数和偏应用函数区别
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20457
1.什么是偏函数？
2.什么是偏应用函数？
3.偏函数的格式是什么？
4.偏函数参数有几个？表示什么含义？



HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20461

1.什么是Hive?

2.MapReduce框架实现SQL基本操作的原理是什么?

3.Hive怎样实现SQL的词法和语法解析?

深入了解京东商品搜索引擎的架构
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20466

1.京东商品搜索引擎的整体架构是怎样的?

2.京东搜索索引服务系统分为哪几个阶段?

3.京东基于内存和线程池的搜索服务遇到哪些瓶颈，怎样优化?

资源：
Spark Summit East 2016 PPT【40文档下载】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20465

问答：
求解答cdh5添加hive 时要求输入MySQL用户密码，测试联通性报错？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20450

memory overcommit error
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20452

为什么我执行hbase的命令的时候总是报错？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20453

谁分享个 操作hbase的 java代码 完成的
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20454

[求助]Unexpected error. Unable to verify database connection.
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20455

openstack 云主机外部网络和控制节点地址不在一个网络中，可以不？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20456

hive中的递归用udf怎么实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20458

有谁关注过Linux基金会2016年的开源项目PNDA吗？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20460

mapreduce优化，map task太多问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20462

kafka+storm 报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20463