about云每日一读汇总（第十五篇2016.07.18）

本帖最后由 Tank_2000 于 2016-10-23 20:43 编辑

about云每日一读汇总（第一篇）

about云每日一读汇总（第二篇）

about云每日一读汇总（第三篇2014.10.20）

about云每日一读汇总（第四篇2014.12.10）

about云每日一读汇总（第五篇2015.01.01）

about云每日一读汇总（第六篇2015.02.01）

about云每日一读汇总（第七篇2015.03.01）

about云每日一读汇总（第八篇2015.05.01）

about云每日一读汇总（第九篇2015.06.21）

about云每日一读汇总（第十篇2015.09.01）

about云每日一读汇总（第十一篇2015.11.14）

about云每日一读汇总（第十二篇2016.01.01）

about云每日一读汇总（第十三篇2016.04.01）

about云每日一读汇总（第十四篇2016.05.16）

about云2016年10月24日每日一读

图数据分析在Spark生态系统的使用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20080
1、如何定义图数据?
2、图数据分析与传统数据的处理有哪些不同之处？
3、图数据分析是如何促进大数据和预测分析?
4、NoSQL图数据库、图数据查询、图数据分析和图数据可视化这四种图数据相关的概念吗?
5、在哪些受欢迎的用例数据处理中，图数据处理是更好解决的方案?
6、Spark GraphX程序库实现中还有哪些缺失特性?

openstack基础之python的多线程并发库函数——eventlet
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20085
1.什么是协程?

2. eventlet是做什么用的?

3.怎样通过eventlet实现一个爬虫?

Kafka源码分析Producer的网络层——JAVA NIO封装
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20088

1.Java NIO有哪些组件?

2.Unix环境有哪几种网络IO模型?

3.Selector和epoll在事件的注册上面有哪些区别?

资源：
学习spark-快速大数据分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20090

问答：
创建外部网络的时候为什么会有dhcp？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20075

sqoop export 到oracle update出错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20077

kafka队列消息存储到hdfs？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20078

oozie与kettle的比较，大家怎么看？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20081

Spark Streaming中读取本地文件，无法获取数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20082

CM初始化报log4j:ERROR Could not find value for key log4j.appender.A
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20083

先进制造业大数据应用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20084

关于Swarm TLS证书的问题，求大神帮忙解决
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20089

about云2016年10月21日每日一读

基于 Spark 如何构建一个文本情感分析系统
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20067

1. 什么是文本情感分析？

2. 为什么要采用Spark？

3. 基于 Spark 如何构建文本情感分析系统？

4. 如何文本分类正确率？

资源：
深度学习【英文】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20064

问答：
CDH Cloudera Manager Agent 无法确定双工模式或接口速度。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20071

pig学习总结:ERROR 0: Scalar has more than one row in the output.
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20070

hive 查看数据是不是连续重复的数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20068

大数据学习心得
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20065

about云2016年10月17日每日一读

kafka开发步骤：集群搭建及功能实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20030
1、搭建kafka伪集群时，如何修改配置参数？
2、如何启动kafka？
3、如何构建卡夫卡集群？
4、如何编写producer？
5、如何编写consumer？

文本挖掘实战——如何找出新词思路及代码实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20034

1.怎样自动的从文本中找出新的词?

2.怎样在处理数据时自动分割大文件?

3.怎样利用JAVA进行抽词?

rpm安装CDH方法介绍：以CDH-5.3.2为例
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20037

1.什么是cloudera manager?

2.Hadoop的适用场景与不适用场景?

3.怎样通过cloudera manager安装Hadoop?

资源：
Hadoop入门视频(适合新手)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20033

学习Ceph【英文版】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20038

问答：
请大神指点迷津~~ hadoop fs -mv 命令的底层原理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20027

招Spark培训讲师
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20028

dashboard连不上去
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20029

请问哪里有hortonwork 的mapR的学习考试资料啊
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20031

Eclipse上传文件到HDFS为空
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20035

about云2016年10月14日每日一读

Spark Sort Based Shuffle内存消耗分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20016

1. hash shuffle 和 sort shuffle 的区别

2. Spark shuffle 概述

3. shuffle write 内存消耗分析

4. shuffle read 内存消耗分析

资源：
Apache Spark 的设计与实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20021

问答：
storm提交拓扑后端口不一样
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20014

HBase多版本与数据删除疑惑
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20015

solrcloud中shard 的replia导致solr服务一直down，如何解决？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20017

CDH5.8.2，支持solr5.5版本吗？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20019

flume可以把日志写到hdfs的同一个文件中吗？hdfs在实际应用中有些什么用途？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20020

求大数据方向的技术人士
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20022

about云2016年10月13日每日一读
大龄程序员保值的5个方向指引
http://www.aboutyun.com/thread-20010-1-1.html

资源：

OpenStack Mitaka安装文档（Ubuntu）
http://www.aboutyun.com/thread-20011-1-1.html

问答：

求大神教教我如何将kafka和storm整合
http://www.aboutyun.com/thread-20009-1-1.html

关于没法对namenode格式化的咨询，请教各位大神
http://www.aboutyun.com/thread-20008-1-1.html

hive整合 hbase报错
http://www.aboutyun.com/thread-20007-1-1.html

about云2016年10月12日每日一读

Spark ALS算法原理及遇到问题解决办法介绍
http://www.aboutyun.com/thread-19999-1-1.html
1、如何使用Spark shell进行Spark ALS算法实现?
2、如何理解ALS算法原理？
3、问题分析及解决的思路是什么？

实时分布式搜索引擎 Solandra
http://www.aboutyun.com/thread-20001-1-1.html

资源：

coursera上最新伊利诺伊大学的大数据视频和华盛顿大学的Hadoop教学视频
http://www.aboutyun.com/thread-19998-1-1.html

JVM调优总结
http://www.aboutyun.com/thread-20002-1-1.html

问答：

hdfs上传大数据死机重启
http://www.aboutyun.com/thread-19996-1-1.html

控制节点anget-list看不见计算节点
http://www.aboutyun.com/thread-20000-1-1.html

求助，运行hive是出现问题
http://www.aboutyun.com/thread-20003-1-1.html

about云2016年10月11日每日一读

[大数据之Spark]——Transformations转换入门经典实例
http://www.aboutyun.com/thread-19985-1-1.html

SparkR架构详解第一章：spark-submit提交R脚本
http://www.aboutyun.com/thread-19990-1-1.html
1.sparkR中R脚本怎么提交的？2.sparkR中的R脚本提交到哪里？
3.SparkSubmit如何处理R脚本？
4.sparkR中是如何解析R脚本的？
5.SparkR整体架构？

企业级云管理平台构建思路
http://www.aboutyun.com/thread-19991-1-1.html
1.建设新的企业级云管理平台，要满足哪些需求？
2.SkyFormCMP的作用是什么？
3.SkyFormCMP主要特性有哪些？

资源：

20160814北京睿数互动互联网精准投放平台解决方案
http://www.aboutyun.com/thread-19992-1-1.html

问答：

spark数据插入到mysql报错
http://www.aboutyun.com/thread-19986-1-1.html

有谁用shipyard源码安装的么？遇到了一些问题
http://www.aboutyun.com/thread-19987-1-1.html

spar集群只能启动一个Applications？
http://www.aboutyun.com/thread-19988-1-1.html

Hiverserver2 JDBC prepareStatement 现象疑问
http://www.aboutyun.com/thread-19994-1-1.html

about云2016年10月10日

spark入门（2.0.1）：概述，下载，编译，运行环境及实例运行
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19981
1.spark下载方式有哪些？
2.spark可以运行在哪些系统？
3.spark支持哪些语言？
4.如何运行spark各种语言版本例子？

hive常见错误汇总
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19977

资源：
Clementine数据挖掘入门及实战V1.0
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19980

问题：
Spark Streaming + Kafka
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19971

hive导出语句编译报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19975

求助：CSV导入MYSQL 屏幕不够用。。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19979

openstack创建的虚拟机通过ovs进行流量导向
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19982

在hadoop2.6.4上安装hive1.2.1，但一执行mapreduce报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19983

about云2016年10月09日

大数据架构师必备技能：几种常见的NoSQL建模技术
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19969

1.NoSQL数据建模有哪些注意事项?

2.NoSQL数据建模的基本原则有哪些?

3.NoSQL可以实现哪些建模技术?

Redis内存优化及持久化机制
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19966
1、Redis 常用数据类型有哪些？
2、有哪些常用内存优化手段与参数设置？
3、Redis 的持久化机制有哪些？如何设置？

面试的方法论（工作20年）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19939

Redis如何通过Spring Session实现分布式Session共享
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19936
1、将同一个应用部署在多个服务器上通过负载均衡对外提供访问，如何实现Session共享？
2、Spring Session的过滤器是如何配置的？
3、如何解决Redis云服务Unable to configure Redis to keyspace notifications异常？
4、Redis云服务如何配置管理后台？

kettle实现从mongo增量到Postgresql
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19941

用数据挖掘用户深层次的情感需求+实例分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19943

1.为什么要对用户进行情感需求分析?

2.怎样获取用户情感需求的初始信息?

3.什么是Censydiam消费动机分析模型?

个人创作的一套针对分布式锁的双写Redis框架
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19948
1.为什么会产生分布式锁？
2.使用分布式锁的方法有哪些？
3.本文创造的分布式锁的双写Redis框架都包含哪些内容？

hadoop系统出现问题的七种信号
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19951

十一：人生的一些思考及工作经历总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19956

HDFS集群磁盘数据倾斜不均衡的解决方案
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19959

1. HDFS集群磁盘不均衡会造成哪些问题？

2. 解决HDFS集群磁盘不平衡的方案有哪些？

3. 如何选择解决方案？

shipyard-Docker的web图形化工具介绍及部署
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19962
1.Shipyard的作用是什么？
2.Shipyard本文介绍哪两个概念？
3.Shipyard搭建包含哪些过程？

资源：

可视化数据【书籍】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19967

问答：
sqoop里面有个事务相关的参数[--relaxed-isolation]，它的作用？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19937

dashboard忘记管理密码！！！
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19949

请问如何在不同集群之间迁移hive数据
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19933

hadoop eclipse 插件java.lang.NullPointerException
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19950

kafkaoffsetmonitor监控不到我的group
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19932

<class 'oslo_messaging.exceptions.MessagingTimeout'> (HTTP 500)
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19934

Hadoop-2.4.0自动化集群安装脚本
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19935

相同代码在调试debug和运行run两种方式下的输出不同
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19938

CDH5.8.2完全离线安装失败，报错Java拒绝连接
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19940

copyFromLocal 失败求助各位大神。。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19942

CDH通过parcels离线安装的服务，如何管理服务，比如重启，关闭操作（除了使用cm）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19946

求助 namenode格式化失败引发的一系列问题。。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19947

请教如何在已经admin前提下，通过keystone的令牌机制再重新创建第二个admin?
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19952

mariaDB数据库下的加密方式求解！！！
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19953

hadoop关于hive mysql的问题咨询
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19955

求大神指点，创建实例instance状态为error！！！
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19957

启动hive报错，麻烦看看
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19958

安装CDH5.8.0安装到oozie时报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19960

使用shipyard-cli成功Login上去了，但是执行获取命令的时候提示404页面找不到，求...
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19961

关于hadoop分块的问题咨询
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19963

阿里巴巴73款开源产品全向图
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19968

about云2016年09月30日

Sqoop官方文档1 —— 什么是Sqoop?
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19928
1 介绍什么是sqoop
2 sqoop的版本
3 学习sqoop的前提条件
4 sqoop的基本使用

IT运维整体解决方案如何应付普遍4大困惑问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19930

Kafka源码分析之network层构建
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19927

1. network层的架构是怎样的？

2. network层组件与NIO组件的映射关系如何？

3. Kafka Selector实现思路是什么？

4. 消息如何进行分包？

5. 消息如何进行分界？

6. 消息如何保证时序性？

7. NetworkClient是如何实现的？

8. 连接检测自动重连机制如何实现？

Head First 深入浅出统计学习
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19922

资源：
Storm入门
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19929

问答：
CDH干掉好几个错误之后，终于遇到一个看不懂的了。。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19923

求助 flume发送到kafka报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19925

about云2016年09月29日每日一读
Kafka源码分析Producer读取Metadata的数据结构及Metadata2种更新机制介绍
http://www.aboutyun.com/thread-19917-1-1.html
1. 什么是多线程异步发送模型？
2. Metadata的线程安全性如何实现？
3. Metadata的数据结构是什么？
4. producer如何读取Metadata？
5. Sender的如何创建?
6. Sender poll()如何更新Metadata？
7. Metadata有哪2种更新机制?
8. 什么是Metadata失效检测?
9. Metadata有哪些其他的更新策略？

资源：

刘奇-豌豆荚分布式redis的设计与实现终稿
http://www.aboutyun.com/thread-19920-1-1.html

问答：

浏览器访问http://controller/horizon 报错误Internal Server Error
http://www.aboutyun.com/thread-19915-1-1.html

java 调用kettle 6.1 转换
http://www.aboutyun.com/thread-19918-1-1.html

about云2016年09月28日每日一读
Ubuntu Server 14部署CDH5.7实战教程
http://www.aboutyun.com/thread-19903-1-1.html
1、如何规划CDH集群节点？
2、如何安装配置CDH？
3、如何安装CDH所用数据库？
4、如何安装Cloudera Manager？

统计思维：程序员数学之概率统计
http://www.aboutyun.com/thread-19905-1-1.html

资源：

sqoop之 MySql5.6.22 JDBC 最新驱动
http://www.aboutyun.com/thread-19901-1-1.html

当数据遇到了人性-大数据时代的【电信】信息欺诈预防
http://www.aboutyun.com/thread-19907-1-1.html

问答：

在yarn的8088界面里面如何看mapreduce任务的溢写次数？
http://www.aboutyun.com/thread-19902-1-1.html

openstack ceilometer监控
http://www.aboutyun.com/thread-19906-1-1.html

第一个agent的sink作为第二个agent的source如何设置？
http://www.aboutyun.com/thread-19908-1-1.html

一个Container中有多少个map和reduce
http://www.aboutyun.com/thread-19909-1-1.html

sqoop2导入导出null数据到mysql中
http://www.aboutyun.com/thread-19912-1-1.html

about云2016年09月27日每日一读

大数据架构师必读：金融机构应用大数据4案例分析
http://www.aboutyun.com/thread-19896-1-1.html
1.大数据无法转化为“大价值”的原因是什么？
2.四个案例分别介绍了什么内容？
3.本人认为金融机构在大数据利用上存在哪两个重要节点？

OpenStack计费项目Cloudkitty安装（个人整理）
http://www.aboutyun.com/thread-19897-1-1.html

资源：

数据挖掘技术及应用【500页ppt最全理论及实践】
http://www.aboutyun.com/thread-19895-1-1.html

问答：

kafka在cdh中怎么配置？
http://www.aboutyun.com/thread-19898-1-1.html

about云2016年09月26日每日一读

怎样练出数据分析师的思维
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19893

1.一名数据分析师的日常工作流是怎样的?

2.如何进行时间和日程管理?

3.数据分析师的思维是如何练出来的?

Spark Streaming中的4种常见操作函数的分析
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19886

1.DStream流有哪些操作？

2.什么是窗口函数？

3.DStream流有哪些输出操作？

Hive表转换为ORC格式
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19883
1.将hive表转换为orc格式有什么优点？
2.如何将格式表转换？
3.转换后，效率有什么变化？

腾讯云是如何将分布式高可靠消息队列CMQ架构发挥到极致的？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19881
1、消息队列的使用在哪些场景？
2、消息队列有什么价值？
3、CMQ底层架构是什么样子的？
4、可靠性体现在哪些方面？
5、CMQ对比开源rabbitMQ压测情况是什么样子的？
6、腾讯云的CMQ，对比rabbitMQ有哪些优势？

资源：
Hbase操作
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19890

使用BigBench评估Hive和Spark SQL
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19891

问答：
sparksql 执行报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19879

贵阳大数据培训机构有推荐的吗
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19880

请问各位老大，如何将HIVE原先的TextFile表转化成orc表？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19882

oozie在执行任务时候报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19884

培训方向选择：是选择Java还是hadoop（大数据）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19885

求大神们介绍下hadoop和spark的优缺点，菜鸟报道，求赐教。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19887

【新人请教！】关于安装hadoop前的配置 JAVA_HOME 环境变量
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19888

【新人请教】无法修改配置文件core-site.xml和修改配置文件hdfs-site.xml
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19889

about云2016年09月23日每日一读

使用海量数据挖掘对客户移动互联网行为进行采集，分析，发现用户关注的内容
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19875
1. 构建移动流量运营系统有什么意义？
2. 系统的整体架构如何构建？
3. 数据采集模块如何构建？
4. 内容识别模块如何构建？
5. 知识库url挑选如何构建？
6. 如何做到用户行为轨迹增强？

R学习笔记，持续更新
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19876

资源：
社交网络中的信息传播
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19872

spark streaming report
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19873

问答：
大数据课程设置
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19871

flume导入hbase的行键该怎么设置？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19874

python包升级的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19877

about云2016年09月22日每日一读

30岁找份程序员的工作
http://www.aboutyun.com/thread-19863-1-1.html

keystone验证流程
http://www.aboutyun.com/thread-19860-1-1.html

资源：

中国电信在大数据领域上的探索与创新
http://www.aboutyun.com/thread-19861-1-1.html

函数式与RDD
http://www.aboutyun.com/thread-19862-1-1.html

问答：

新人报道，望各位高手指导！
http://www.aboutyun.com/thread-19858-1-1.html

在搭建HADOOP集群的时候，如何编辑host？
http://www.aboutyun.com/thread-19859-1-1.html

Hbase手动设置时间戳，无法删除数据，怎么办？
http://www.aboutyun.com/thread-19864-1-1.html

SingleColumnValueFilter过滤器时灵时不灵
http://www.aboutyun.com/thread-19865-1-1.html

about云2016年09月21日每日一读

ElasticSearch优化技巧3：总结机器设置及索引过程
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19844
1.机器如何设置（硬盘、CPU）？
2.索引过程是什么？

OpenStack Keystone V3 入门介绍
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19851
1.Tenant与project是什么关系？
2.Keystone V3 API做了哪些改变？
3.Domain 的作用是什么？
4.Group与user的关系是什么？

资源：

Apache Hadoop 3.0.0-alpha1版发布做了哪些改进
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19855

Pantaho Kettle使用PDI构建开源ETL解决方案_完整版【书籍】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19856

问答：

flume 的kafkachannel问题数据解析的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19839

hive加载大量小日志文件
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19842

hive运行报错state=08S01,code=2
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19843

请教各位 flume采集到的日志数据上传到hdfs上为什么会生成这么多小文件？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19845

CDH安装问题=======我觉得还能治疗一下
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19846

用户属于多个project，切换显示问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19847

keystone 数据库assignment表的用途及各个字段的意思
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19848

大数据脚本用什么语言比较多
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19849

Spark有什么需要改进的问题和不足
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19852

hive 删除问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19853

about云2016年09月20日每日一读

使用Elasticsearch构建电商搜索平台实践案例
http://www.aboutyun.com/thread-19829-1-1.html
1、电商数据系统主要类型有哪些？
2、互联网商用搜索通常会遇到哪些问题？
3、如何实现搜索引擎架构？
4、为什么我们选择Kafka？
5、ES性能如何进行优化？

资源：

数据模型资源手册卷1
http://www.aboutyun.com/thread-19835-1-1.html

数据模型资源手册卷2
http://www.aboutyun.com/thread-19836-1-1.html

问答：
怎么样的rowkey设计会出现热点问题？
http://www.aboutyun.com/thread-19828-1-1.html

es hadoop proxy
http://www.aboutyun.com/thread-19831-1-1.html

请教 IDEA 环境下 spark 匿名函数内断点不停的问题
http://www.aboutyun.com/thread-19830-1-1.html

kettle 嵌套java 脚本
http://www.aboutyun.com/thread-19832-1-1.html

本人想自学hadoop，不知道应该从哪开始学，一点头绪都没有
http://www.aboutyun.com/thread-19833-1-1.html

cinder的卷因为服务器断电后显示error
http://www.aboutyun.com/thread-19837-1-1.html

about云2016年09月19日每日一读

文本数据挖掘入门14概念总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19823

1.什么是话题跟踪？

2.什么是聚类？

3.什么是概念衔接？

编写Linux shell脚本八条经验总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19822
1.shell 脚本的第一行有几种写法，哪种更好一些？
2.set -e 和 set -x的作用是什么？
3.不适用local会遇到什么问题？
4.trap使用场景是什么？

社区发现算法FastUnfolding的GraphX实现
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19817

1.什么是社区发现？

2.什么是FastUnfolding算法？

3.怎样实现FastUnfolding算法的分布式？

程序员要投资的那些事
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19815

如何基于分布式环境构建一个数据回放的无人驾驶模拟平台
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19813
1. 什么是无人驾驶模拟技术？
2. 无人驾驶汽车模拟器是什么？它的作用是啥？会面临哪些挑战？
3. ROS作在整个系统中担任什么样的角色？
4. 怎么理解ROSBAG？
5. Spark在整个系统中担任什么样的角色？
6. 如何解决Spark本身不支持多媒体数据读取的问题？
7. ROSBAG如何缓存数据至内存？如何读取内存中的缓存数据？

资源：
Hbase深入理解【追风堂】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19825

Java内存管理问题案例分享【追风堂】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19824

问答：
oozie运行官方map-reduce example出错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19814

启动hbase后过一会hmaster就挂了
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19816

openstack创建的实例无法上网
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19818

HBASE 高可用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19819

往HBase持续存入大量数据是出现如下错误
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19820

vm一直出入硬件重启状态，如何解决。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19821

获取hive作业实体
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19826

about云2016年09月15日每日一读

从DFSOutputStream的pipeline写机制到Streamer线程泄漏问题
http://www.aboutyun.com/thread-19806-1-1.html
1.DFSOutputStream如何写数据以及周边相关类,变量？
2.DataStreamer数据流对象是什么？
3.ResponseProcessor如何回复获取类？
4.DataStreamer与DFSOutputStream什么关系？
5.Streamer线程泄漏问题解决？

Apache Hadoop 3.0.0-alpha1版发布做了哪些改进
http://www.aboutyun.com/thread-19809-1-1.html

资源：
机器学习实战
http://www.aboutyun.com/thread-19811-1-1.html

统计思维：程序员数学之概率统计
http://www.aboutyun.com/thread-19812-1-1.html

问答：

问一个hdfs导入hbase 的问题工作中的望指点
http://www.aboutyun.com/thread-19804-1-1.html

kafka如何清理topic数据
http://www.aboutyun.com/thread-19805-1-1.html

kafka 用程序消费出错
http://www.aboutyun.com/thread-19808-1-1.html

about云2016年09月14日每日一读

Spark Sql介绍及实际遇到的问题
http://www.aboutyun.com/thread-19794-1-1.html
1、什么是DataFrames？
2、什么是DataFrames Schema？
3、Spark 1.2 Sql踩过的坑有哪些？

机器学习之线性回归模型预测海藻数量
http://www.aboutyun.com/thread-19801-1-1.html

获取Hadoop集群的数目
http://www.aboutyun.com/thread-19791-1-1.html

资源：

使用spark构建，处理和分析 large-scale graphs【Apache Spark Graph Processing】
http://www.aboutyun.com/thread-19799-1-1.html

数据仓库和数据挖掘的OLAP技术(浙大-王灿)
http://www.aboutyun.com/thread-19800-1-1.html

问答：

spark reduce支持再次拆分计算么？
http://www.aboutyun.com/thread-19785-1-1.html

mitaka上传镜像出问题了 keystone报错
http://www.aboutyun.com/thread-19788-1-1.html

如何获取当前Map对象所在的block id
http://www.aboutyun.com/thread-19790-1-1.html

hive能从redis等提供的队列中加载数据吗？
http://www.aboutyun.com/thread-19792-1-1.html

hadoop安装时配置core-site.xml文件时候，出现如下问题
http://www.aboutyun.com/thread-19793-1-1.html

flume怎么取redis消息队列数据
http://www.aboutyun.com/thread-19797-1-1.html

hive 插入数据错误
http://www.aboutyun.com/thread-19798-1-1.html

ganglia 监控flume 数据进不来的问题
http://www.aboutyun.com/thread-19802-1-1.html

about云2016年09月13日每日一读

机器学习之朴素贝叶斯垃圾邮件分类
http://www.aboutyun.com/thread-19779-1-1.html

ElasticSearch优化技巧2总结
http://www.aboutyun.com/thread-19782-1-1.html
1.Filter Cache的作用是什么？
2.Bulk Queue是做什么用的？
3.Indexing Buffer是用来做什么的？

从hadoop发展角度彻底明白hadoop1.x与hadoop2.x的区别
http://www.aboutyun.com/thread-19771-1-1.html
1.hadoop1.x改造如果是两个jobtraker，你认为解决了什么问题？
2.hadoop1.x改造如果是两个jobtraker，你认为未解决了什么问题？
3.你如何看待hadoop2.x的yarn?

Hadoop 3.0.0-alpha1发布
http://www.aboutyun.com/thread-19774-1-1.html

资源：

KETTLE使用自己总结的Kettle使用方法和成果说明
http://www.aboutyun.com/thread-19780-1-1.html

构建开源etl解决方案使用pentaho数据整合
http://www.aboutyun.com/thread-19781-1-1.html

问答：

Ubuntu上ceph-deploy install 报错
http://www.aboutyun.com/thread-19775-1-1.html

cdh4.8.0集成phoenix4.8相关问题
http://www.aboutyun.com/thread-19777-1-1.html

kettle 连接Hbase
http://www.aboutyun.com/thread-19778-1-1.html

HBaseXplorer(40.94)连不上HBase（1.2.1）,求解决方案
http://www.aboutyun.com/thread-19783-1-1.html

about云2016年09月12日每日一读

spark入门基础知识常见问答整理汇总
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19768

1.Spark是什么？

2.什么是Spark Streaming？

3.Spark作为计算框架的优势是什么？

怎样构建可容灾的高可用ZooKeeper集群
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19763

1.Zookeeper有哪几种运行模式？

2.怎样确定好Zookeeper集群的规模？

3.怎样做好Zookeeper集群的容灾？

spark集群如何查看运行日志
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19760

1.spark编程中print内容，在控制台是否能看到？

2.输出的日志有哪两种？

3.如何才能看到spark运行日志？

OpenStack 之 ML2详解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19759
1.ML2 是如何发展的？
2.ML2 与 OpenStack 节点上的 L2 agents 有什么区别？
3.ML2 的提出解决了哪两个问题？
4.ML2 框架是什么样子的？
5.ML2 采用什么样的工作方式？

资源：
centos7安装openstack经典已实践
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19764

Spark-Streaming实时大数据处理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19765

问答：
有大神碰到这个问题吗？？？？？？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19756

hive表，如果字段增改略微有些频繁的话，会有什么影响
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19761

手动安装cdh后还可以用Cloudera Manager去集成然后监测吗？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19762

CDH 怎么样更换安装时绑定的mysql 数据库
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19767

如何用rpm包安装hadoop借助yum工具
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19772

about云2016年09月09日每日一读

ElasticSearch优化技巧总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19748
1. 如何优化集群节点的配置？
2. 机器内存为什么需要预留一半给Lucene用？
3. 给ES内存配置是不是越大越好呢？
4. Swapping为什么会是性能的瓶颈？

如何在Spark sql上扩展自己的插件？----spark开源项目spark-avro
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19741

资源：
数据算法英文
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19750

聚类算法---以K-means算法实例
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19752

问答：
flume 往 hdfs 中传日志的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19747

spark streaming并发低导致数据积压
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19749

用java实现solr数据分片抽取
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19751

about云2016年09月08日每日一读

JobControl设计原理及JobControl类深入剖析
http://www.aboutyun.com/thread-19740-1-1.html
1.什么是贝叶斯分类？
2.JobControl的设计原理是什么？
3.Job类是如何设计的？
4.JobControl类如何深入剖析？

Spark MLlib KMeans聚类算法详解
http://www.aboutyun.com/thread-19745-1-1.html
1.什么是Spark MLlib ？
2.Spark MLlib 分为哪些类？
3.KMeans算法的基本思想是什么？
4.Spark Mllib KMeans源码包含哪些内容？

资源：

Spark Scala入门手册
http://www.aboutyun.com/thread-19742-1-1.html

spark介绍及SPARKSQL应用
http://www.aboutyun.com/thread-19743-1-1.html

问答：

Flatdhcp 网络方式，不同宿主机之间不能互通
http://www.aboutyun.com/thread-19738-1-1.html

spark mllib分组聚类求教
http://www.aboutyun.com/thread-19739-1-1.html

oracle入数据到hbase(编码问题) Kettle
http://www.aboutyun.com/thread-19744-1-1.html

about云2016年09月07日每日一读

Spark任务中Stage划分算法及Task任务本地性算法原理
http://www.aboutyun.com/thread-19729-1-1.html
1、Spark Job Stage划分算法有哪些？
2、Task最佳计算位置算法如何理解？
3、Task任务本地算法运用场景有哪些？

virtualenv为应用创建一套“隔离”的Python运行环境
http://www.aboutyun.com/thread-19735-1-1.html
1.如何解决Python不同应用间多版本的冲突问题？
2.virtualenv的作用是什么？
3.如何通过virtualenv创建隔离环境？

资源：

Octopus（大章鱼）：基于R语言的跨平台大数据机器学习与数据分析系统-南京大学-黄宜华
http://www.aboutyun.com/thread-19732-1-1.html

写好spark jobs的技巧【英文】
http://www.aboutyun.com/thread-19733-1-1.html

问答：

solr使用dataimport 导入数据库数据，表名中含有日期的问题
http://www.aboutyun.com/thread-19727-1-1.html

问题求助！！
http://www.aboutyun.com/thread-19731-1-1.html

about云2016年09月06日每日一读

Spark之Stage详解【专题】
http://www.aboutyun.com/thread-19724-1-1.html
1.什么是spark stage？
2.stage如何划分？
3.Spark 多个Stage执行是串行执行的么？

为什么程序员普遍都比较难沟通？该如何改变提高自己
http://www.aboutyun.com/thread-19725-1-1.html

资源：

Hadoop-MapReduce短作业执行性能优化
http://www.aboutyun.com/thread-19720-1-1.html

提高spark写效率文档【英文】
http://www.aboutyun.com/thread-19721-1-1.html

问答：

HDFS上是否可以进行多个文件的合并
http://www.aboutyun.com/thread-19717-1-1.html

小文件特别多，job数很多，怎么优化
http://www.aboutyun.com/thread-19718-1-1.html

journalnode启动报错问题请教~！！
http://www.aboutyun.com/thread-19719-1-1.html

关于hive2.1.0的动态分区，做insert的性能问题
http://www.aboutyun.com/thread-19722-1-1.html

spark查询不了hive的orc格式的表
http://www.aboutyun.com/thread-19723-1-1.html

about云2016年09月05日每日一读

怎样利用OpenStack搭建虚拟云桌面？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19708

1.虚拟云桌面是什么？

2.怎样实现虚拟云桌面？

3.怎样保证系统的稳定性？

携程产品设计如何应用数据分析的？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19700
1.携程的数据体系是什么样子的？
2.要让数据分析真正有效地推进产品设计，它的必备条件有哪些？
3.携程民宿频道是如何进化的？
4.客栈通APP订单详情页是如何优化？

怎样利用FineReport搭建可视化的数据分析平台【案例】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19705

1.数据分析的目的是什么？

2.什么是FineReport？

3.怎样利用FineReport搭建可视化的数据分析平台？

hadoop2.7.3发布：功能改进及提高概述
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19707

资源：
2020年人工智能预测分析报告
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19710

理解Spark标准
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19711

问答：
上传大一点的镜像就失败
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19698

如何将hive多个表整合到一个hbase表中
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19699

如何使用ios镜像创建虚拟机
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19701

编译hadoop2.5.2时出错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19703

安装neutron错误！小弟求大牛前来搭救
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19706

about云2016年09月02日每日一读

如何通过DevStack进行OpenStack mitaka 版本的部署
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19695
1. Devstack是什么？
2. 物理环境的需求如何？
3. 如何设置ubuntu的源？
4. 安装步骤是如何进行的？

我是如何学习数据分析的
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19690

资源：
2016中国云计算技术大会-腾讯林立伟-Spark-Streaming在腾讯广点通的应用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19687

透过WordCount案例快速理解SparkStreaming工作原理分享
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19688

问答：
hive中如何让addjar只执行一次
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19680

求思路，写基于Oozie工作流的web应用
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19681

CDH 中的solrcloud严重不稳定，很急呀
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19682

Mapreduce调试报NullPointerException
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19691

HBASE1.2.1使用sqoop导入报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19693

about云2016年09月01日每日一读

Spark OOM专题总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19677
1.本文认为spark oom分为哪两种情况？
2.Spark在一个Executor中的内存分为哪三块？
3.内存溢出解决方法本文提出了哪些解决方法？

OpenStack M版(keystone) 分页代码实现及讲解
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19669
1.keystone分页历史是什么样的？
2.如何实现分页？

资源：
云管理_云服务的保障
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19673

MongoDB实战
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19674

问答：

spark 累加器操作
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19675

$KAFKA_HOME/bin/kafka 怎么没有这个命令？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19676

ambari kafka无法启动KeyError: 'listeners'
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19678

Eclipse访问hbase一直报错 Connection refused: no further information
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19668

Spark Streaming数据错误的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19670

Spark Streaming从kafka中读取数据导致OOM
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19671

[疑问]关于Hive on Spark
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19672

about云2016年08月31日每日一读

kafka学习线路指导入门：包括理论、部署、实战知识汇总整理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19665

关于Hive优化的四种方法总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19664
1、Hive整体架构优化点有哪些？
2、如何在MR阶段进行优化？
3、Hive在SQL中如何优化？
4、Hive框架平台中如何优化？

资源：

大数据分析的未来【英文】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19659

hadoop and pig【Twitter】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19658

问答：

hadoop 2.2 升级 2.7
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19666

kafka多线程消费（同一个group）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19663

CDH 中hdfs 删除文件，磁盘空间没释放
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19662

devstack不支持virtualenv
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19661

about云2016年08月30日每日一读

spark分布式编程之全局变量专题【共享变量】
http://www.aboutyun.com/thread-19652-1-1.html
1.spark共享变量的作用是什么？
2.什么情况下使用共享变量？
3.如何在程序中使用共享变量？
4.广播变量源码包含哪些内容？

通过Kafka将数据从关系型数据库实时数据流导入到HDFS的Hive表中
http://www.aboutyun.com/thread-19653-1-1.html
1.Hive 1.2.1，Flume 1.6 以及 Kafka 0.9是否兼容？
2.实现Hadoop实时数据导入本文使用了几步？
3.通过Kafka将数据从关系型数据库实时数据流导入到HDFS的Hive表，你认为是否还有其它思路？

资源：

hbase性能和可靠性增强【ebay】
http://www.aboutyun.com/thread-19654-1-1.html

Hive存储格式简析
http://www.aboutyun.com/thread-19655-1-1.html

问答：

JobControl日志显示问题
http://www.aboutyun.com/thread-19646-1-1.html

spark streaming进行累加的方法有哪些？
http://www.aboutyun.com/thread-19647-1-1.html

kerberos认证问题
http://www.aboutyun.com/thread-19648-1-1.html

Openstack 创建ubuntu实例失败
http://www.aboutyun.com/thread-19650-1-1.html

about云2016年08月29日每日一读

基于Docker的业务编排在新浪微博混合云架构的实践
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19640

1.什么是容器编排？

2.怎样进行混合云DCP架构设计？

3.怎样实现业务编排？

hive文件存储格式:SequenceFile系统总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19639
1.什么是SequenceFile？
2.如何通过源码实现SequenceFile压缩？
3.SequenceFile格式压缩有什么优点和缺点？

spark交互数据探索及周期执行软件Zeppelin
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19635

1.什么是Zeppelin？

2.Zeppelin有哪几种分享方式？

hive中四种排序作用总结
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19634
1.order by是全局排序还是局部排序？
2.sort by与order by有什么不同？
3.distribute by和sort by如何一起使用？

SparkSession使用方法介绍【spark2.0】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19632
1.SparkSession的功能有哪些？
2.如何创建SparkSession？
3.SparkContext在Spark中的主要功能有哪些？

Scala 不建议用 return的原因是什么？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19625

Incompatible clusterIDs问题的两种解决办法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19623

一张可以当桌面的Git用法图
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19628

资源：
大数据入门普及资料
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19641

大数据资料
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19642

问答：
scala如何ruturn程序
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19622

hadoop集群historyserver启动问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19624

求科普 openstack neutron 网络 vif是什么 vif是什么的缩写 vif类型都有哪些？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19626

求助storm一些问题，求大神指点
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19630

CDH 出问题了，急救
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19631

[疑问]Hive里面oder by、sort by、distribute by、cluster by的区别
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19633

[疑问]Hive里面sequenceFile存储的record怎么理解？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19636

centos6.5安装mysql后启动不起来
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19637

HDFS文件系统如何切换路径
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19638

about云2016年08月26日每日一读

OpenStack Mitaka热迁移分析（一）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19615
1.热迁移是什么，它的过程是怎么样的？
2.热迁移和冷迁移的区别？
3.现阶段热迁移的问题（BUG）？
4.热迁移之后会怎么优化？

Spark连接到MySQL并执行查询为什么速度会快？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19617
1. Spark为什么能提高Mysql的查询速度？
2. 如何运行SQL in Spark？
3. SparkSQL如何将查询推送到MySQL？
4. 如何使用Spark缓存查询数据？5. 如何使用 Spark 和 Percona XtraDB Cluster？
6. Spark表分区时需要注意的事项？
7. Spark表现不好的时候？

资源：
恒天云私有云建设方案
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19619

以混合存储模型实现云计算平台对电信海量数据的处理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19620

问答：
假如spark streaming异常退出，该如何去做容错？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19611

[疑问]Hive中分区和分桶查询时，有什么区别？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19612

[疑问]分布式环境下hive的外部表是如何存储的？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19613

java操作hbase报错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19614

about云2016年08月25日每日一读

Redis遇到（大数据量）百亿级Key存储需求及解决方案介绍
http://www.aboutyun.com/thread-19603-1-1.html
1.需求背景是什么？2.存储何种数据？
3.数据特点是什么？
4.存在哪些技术挑战？
5.解决方案有哪些？
6.md5散列桶的方法需要注意的问题？
7.测试结果是什么？

hive入门总结
http://www.aboutyun.com/thread-19599-1-1.html
1.hive入门
2.hive基础操作
3.hive高阶知识
4.hive的调优及权限控制
5.hive常见面试问题

资源：

unitedstack 私有云解决方案
http://www.aboutyun.com/thread-19602-1-1.html

可视化报告分享·大数据下的家庭教育
http://www.aboutyun.com/thread-19607-1-1.html

hive基础之mysql 5.6 从零开始学
http://www.aboutyun.com/thread-19609-1-1.html

问答：

mysql 5.6 从零开始学
http://www.aboutyun.com/thread-19598-1-1.html

eclipse为何可以直接运行mapreduce程序
http://www.aboutyun.com/thread-19601-1-1.html

Spark Gateway状态显示不适用
http://www.aboutyun.com/thread-19604-1-1.html

spark怎样编译?
http://www.aboutyun.com/thread-19606-1-1.html

about云2016年08月24日每日一读

机器学习入门篇一
http://www.aboutyun.com/thread-19583-1-1.html

1.什么是机器学习及机器学习的原理和分类介绍

2.knn算法

3.朴素贝叶斯算法及应用示例简单介绍

大数据架构在携程的实践及相关案例介绍
http://www.aboutyun.com/thread-19584-1-1.html
1、携程大数据如何实现高并发应用？
2、如何设计推荐系统架构？
3、如何实现在线实时计算？

hive分区知识整理
http://www.aboutyun.com/thread-19596-1-1.html
1.hive如何创建表和分区？
2.如何加载数据？
3.hive默认是静态分区，还是动态分区？
4.动态分区如何实现？

资源：

Hadoop中TeraSort算法分析
http://www.aboutyun.com/thread-19588-1-1.html

云存储-设计
http://www.aboutyun.com/thread-19589-1-1.html

问答：

hadoop2.7.2+hive1.2+hbase0.98，hive插入数据报错
http://www.aboutyun.com/thread-19585-1-1.html

hive表结构修改，添加分区字段
http://www.aboutyun.com/thread-19586-1-1.html

动态资源池获取不到资源
http://www.aboutyun.com/thread-19591-1-1.html

ganglia 监控
http://www.aboutyun.com/thread-19592-1-1.html

spark可以直接升级2.0吗
http://www.aboutyun.com/thread-19593-1-1.html

hive2.0.0版本安装后运行问题，求大神解决
http://www.aboutyun.com/thread-19594-1-1.html

面试过程被问到实时流处理的问题，高手请进！
http://www.aboutyun.com/thread-19595-1-1.html

about云2016年08月23日每日一读

深度学习将会变革NLP中的中文分词
http://www.aboutyun.com/thread-19578-1-1.html
1.区分中文分词的方法有哪些？
2.什么是HMM?
3.深度学习有哪些种不同类型的网络？

hadoop使用PathFilter遇到的一些问题
http://www.aboutyun.com/thread-19573-1-1.html

1.hadoop在分析数据时怎么过滤文件？

2.hadoop过滤文件的输入路径配置需要注意什么？

3.过滤文件输入路径支持正则表达式吗？

资源：

OpenStack网络配置及管理
http://www.aboutyun.com/thread-19574-1-1.html

云平台样题
http://www.aboutyun.com/thread-19575-1-1.html

问答：
spark-submit提交报错
http://www.aboutyun.com/thread-19579-1-1.html

about云2016年08月22日每日一读

OpenStack计费Billing功能前瞻（一）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19558
1.openstack现阶段计费项目情况？
2.需要怎样的环境实现？
3.在没有cloudkitty的情况下如何实现？
4.最终的流程图是什么？

遗传算法一个模拟自然进化过程的启发式搜索算法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19564
1.什么是遗传算法？
2.演化迭代的方式有哪两种？
3.在遗传算法中，将染色体称为个体，常见的基因编码方式有哪三种？

数据分析师的能力和工具体系
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19565

1.数据分析师需要哪些能力？

2.数据分析师需要掌握哪些工具？

Zookeeper的功能以及工作原理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19566

1.ZooKeeper是什么？

2.ZooKeeper提供了什么？

3.Zookeeper做了什么？

怎么区别数据挖掘与数据分析？_数据分析数据挖掘
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19567

1.数据挖掘与数据分析的主要区别是什么？

2.数据分析与数据挖掘的区别是什么？

3.数据分析师与数据挖掘工程师有哪些相似点？

SQL for ElasticSearch–Crate.io安装配置和体验
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19568

1.怎样搭建Crate集群？

2.Crate怎样导入外部数据？

3.Crate有哪些缺点？

资源：
OpenStack有关书籍（大部分都有）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19562

eBay网分析平台的元数据和应用【英文】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19569

问答：
求教，cloudera安装集群启动hbase master失败
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19556

CDH下，常用命令的存储位置在哪儿？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19555

关于hbase预分区和行键设计
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19557

请问hadoop kerberos 认证有效期可以延长吗？
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19559

sqoop2一开始job，出现大量连接文件
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19560

ganglia 问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19563

about云2016年08月19日每日一读

深度学习与自然语言处理(5)_斯坦福cs224d 大作业测验2与解答
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19552
1. Tensorflow 与 softmax20分

2. 神经网络在命名实体识别中的应用35分

3. 递归神经网络语言建模45分

程序员：内向群体剖析，有什么优势和劣势
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19542

资源：

云应用系统中角色访问控制管理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19550

IBM云时代的安全管理
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19551

问答：

kilo版，glance update-image功能接口测试出错
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19535

kilo版，关于实例软删除的疑问
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19536

speak steaming 获取运行中的application并对其停止
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19537

sqoop2 verify检测提示成功，但是过程报错。
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19538

sqoop一直卡着
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19541

请教大神们一个问题，master主机和两个slave机器启动之后，master上通过50070端
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19544

hive中执行count报错的解决办法
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19545

管hive与hbase整合的问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19546

手动修改云主机fixed ip
http://www.aboutyun.com/forum.php?mod=viewthread&tid=19549

about云2016年08月18日每日一读

Redis数据“丢失”问题
http://www.aboutyun.com/thread-19525-1-1.html
1.如何进行Redis”数据丢失“的故障排查？
2.数据丢失的影响是什么？
3.常见Redis数据丢失的情况都有哪些？

携程实时大数据平台演进：1/3 Storm应用已迁到JStorm
http://www.aboutyun.com/thread-19526-1-1.html
1.为什么要做实时数据平台？
2.需要怎样的实时数据平台？
3.如何实现？
4.哪些曾经踩过的坑？
5.哪些是新的探索？
6.都有哪些未来的方向？

资源：

维度建模指南by_Z.RaiNy
http://www.aboutyun.com/thread-19532-1-1.html

TFS【淘宝分布式文件系统】入门
http://www.aboutyun.com/thread-19533-1-1.html

问答：

spark streaming application日志问题
http://www.aboutyun.com/thread-19524-1-1.html

eclipse搭建python开发环境
http://www.aboutyun.com/thread-19527-1-1.html

udf加密解密
http://www.aboutyun.com/thread-19530-1-1.html

about云2016年08月17日每日一读

Spark 2.0 Structured Streaming 分析
http://www.aboutyun.com/thread-19520-1-1.html
1、Spark 1.0和Spark 2.0中Spark Streaming有什么不同？
2、Structured Streaming是什么？

金融大数据架构概述与应用
http://www.aboutyun.com/thread-19521-1-1.html
1、如何设计金融大数据架构？
2、IBM如何看待未来大数据趋势？
3、架构设计容易忽略的细节有哪些？

资源：

Lucene视频教程_视频
http://www.aboutyun.com/thread-19518-1-1.html

雷欣--一个Google系的创业公司如何在中国做人工智能
http://www.aboutyun.com/thread-19519-1-1.html

问答：

hive数据存储与元数据的疑惑
http://www.aboutyun.com/thread-19515-1-1.html