分享

about云每日一读汇总(第二篇)

hyj 2014-7-31 23:08:21 发表于 每日一读汇总 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 13 61137
2014-10-20每日一读
每天进步一点



云架构和openstack的思考
http://www.aboutyun.com/thread-9579-1-1.html
1、怎么才能够把云架构设计得好一些呢?
2、云建设要解决的问题是什么?
3、建设云需要从哪方面来看待?


面试题、经验分享及新手问答整理
http://www.aboutyun.com/thread-9581-1-1.html

Spark技术实战之1 -- KafkaWordCount
http://www.aboutyun.com/thread-9580-1-1.html
1、怎样搭建Kafka集群?
2、parser中的表达式分别代表什么意思?
3、你觉得应该如何运行KafkaWordCount呢?

Spark技术实战之2 -- Spark Cassandra Connector的安装和使用
http://www.aboutyun.com/thread-9582-1-1.html
1、怎样创建可以连接到cassandra的sc?
2、如何添加相应的library来支持spark-cassandra-connector?
3、最简单的配置什么?


Spark技术实战之3 -- 利用Spark将json文件导入Cassandra
http://www.aboutyun.com/thread-9583-1-1.html
1、利用Spark将json文件导入Cassandra的前提条件有哪些?
2、本次实验需要结合哪些知识?
3、进行数据导入时,需要注意什么?

storm-kafka-0.8-plus 源码解析
http://www.aboutyun.com/thread-9584-1-1.html
1.DynamicPartitionConnections对象有什么用?
2.register函数做了哪些事?
3._coordinator 是干嘛的?
4.kafkaOffset可以反映出哪些信息?
5.每个partition的读取状况可以通过什么获取?


openstack网络,外部网络、内部网络、管理网络作用介绍
http://www.aboutyun.com/thread-9585-1-1.html

资源:

淘宝开放平台的实践及电信运营商大数据应用研究和实践
http://www.aboutyun.com/thread-9578-1-1.html
美国大数据工程师面试攻略
http://www.aboutyun.com/thread-9577-1-1.html

问答:

控制节点ping不通网络节点,但网络节点可以ping通控制节点,这是怎么回事呢
http://www.aboutyun.com/thread-9590-1-1.html

Glance创建出错是什么原因呢
http://www.aboutyun.com/thread-9589-1-1.html

MapReduce不执行Reduce
http://www.aboutyun.com/thread-9587-1-1.html




2014-10-19每日一读
每天进步一点



Storm入门之一个实际的例子
http://www.aboutyun.com/thread-9570-1-1.html
1、在AbstractAnalyticsTest中实现一个什么方法?
2、如何测试用例?
3、Storm拓扑的输入与输出?

Storm如何保证消息不丢失 (Guaranteeing-message-processing)
http://www.aboutyun.com/thread-9572-1-1.html
1、storm是怎么实现高效率的可靠性的?
2、什么是tuple?
3、如何理解acker类?


使用Mahout实现自然语言处理
http://www.aboutyun.com/thread-9571-1-1.html
1、建立来自文档字段的管道,有哪些步骤?
2、如何理解Apache Mahout is 算法?
3、Mahout 的基本模式有哪些?

使用Windows Azure HDInsight, Hadoop和Mahout机器学习建立一个推荐引擎
http://www.aboutyun.com/thread-9569-1-1.html
1、如何建立一个自己的引擎?
2、怎样使用Windows Azure HDInsight, Hadoop和Mahout?


Docker源码分析(一):Docker架构
http://www.aboutyun.com/thread-9573-1-1.html
1.docker run命令的作用?
2.Docker Client是用户用来和什么建立联系的客户端?
3.在Graph的本地目录中,每一个的容器镜像,具体存储的信息有什么?


storm开发经验分享
http://www.aboutyun.com/thread-9574-1-1.html
1.storm日志的结构是怎样的?
2.如何使用自定义配置文件?
3.一个“topology”在storm集群中有什么作用?

云成本分析工具介绍
http://www.aboutyun.com/thread-9576-1-1.html

资源推荐:

storm源码阅读文档下载
http://www.aboutyun.com/thread-9575-1-1.html







2014-10-18每日一读

每天进步一点






什么是流式思维?
http://www.aboutyun.com/thread-9567-1-1.html
1.为什么会提出流式思维?
2.面向函数流式特点?
3.流式思维应用在架构设计上有哪些好处?

Spark Core源码分析: RDD基础
http://www.aboutyun.com/thread-9566-1-1.html
1.getPartitions和compute进行了哪些操作?
2.hadoop如何进行序列化?
3.checkpoint的执行逻辑?

部署Ceilometer到已有环境中
http://www.aboutyun.com/thread-9565-1-1.html
1、控制节点需要重启哪些服务?
2、如何安装Ceilometer的基础依赖?
3、控制节点需要安装哪些服务?

hbase源码Put、Delete在服务端如何处理?
http://www.aboutyun.com/thread-9561-1-1.html
1、Put在Region Server中做了什么?
2、我们常用的方式是什么?
3、什么情况下执行prepareDeleteTimestamps方法?

hbase源码Compact和Split
http://www.aboutyun.com/thread-9560-1-1.html
1、你如何理解Compaction和Split的关系?
2、Minor 和Major Compaction的区别有哪些?
3、splitStoreFiles这块有什么作用?

storm编程入门:基本概念
http://www.aboutyun.com/thread-9556-1-1.html
1.Topologies有什么特点?
2.Spouts的作用是什么?涉及哪些函数?
3.Bolts的作用是什么?
扩展
4.你认为tuple与storm的关系是什么?


hbase源码Get、Scan在服务端是如何处理?
http://www.aboutyun.com/thread-9558-1-1.html
1、如何理解Scan的扫描流程?
2、Scan的参数有哪些?
3、怎样通过列族获得相应的Store?

在OpenStack中通过Heat来使用Docker Containers
http://www.aboutyun.com/thread-9559-1-1.html
1.如何验证Docker是否安装成功?
2.为Heat配置Docker plug-in包含哪些步骤?
3.在Heat中如何使用Docker?




openstack 视频
http://www.aboutyun.com/thread-9562-1-1.html


openstack juno版文档汇总:各个版本安装、API、配置使用、管理员英文文档
http://www.aboutyun.com/thread-9568-1-1.html



问答:

关于MapReduce的执行流程
http://www.aboutyun.com/thread-9554-1-1.html

利用sqoop从hive里往mysql插入数据出现问题
http://www.aboutyun.com/thread-9555-1-1.html

单独安装nova 不能同步数据库
http://www.aboutyun.com/thread-9564-1-1.html

keystone-all --config-file=/etc/keystone/keystone.conf警告only and may be
http://www.aboutyun.com/thread-9563-1-1.html

关于Heat的一些疑问
http://www.aboutyun.com/thread-9557-1-1.html






2014-10-17每日一读

每天进步一点





简单的Spark应用源码案例
http://www.aboutyun.com/thread-9544-1-1.html
1、你如何理解Spark的应用场景?
2、Spark的 "reduce"和MapReduce有什么区别?
3、为什么Spark比MapReduce更受欢迎呢?


Redis快速入门
http://www.aboutyun.com/thread-9546-1-1.html
1、你如何理解Redis 的优势?
2、Redis 的数据类型有哪些,怎样入门?
3、如何使Redis的数据库更安全?

让你真正明白什么是storm
http://www.aboutyun.com/thread-9547-1-1.html
1.你认为什么图形可以显示hadoop与storm的区别?
2.本文是如何形象讲解hadoop与storm的?
3.hadoop map/reduce对应storm那两个概念?
4.storm流由谁来组成?


写好Hive 程序的五个提示
http://www.aboutyun.com/thread-9550-1-1.html
1、Hive如何排序?
2、如何合并MapReduce操作?
3、有哪些方法可以帮助我们写好Hive 程序?



Hadoop实现AbstractJob简化Job设置
http://www.aboutyun.com/thread-9553-1-1.html
1、输入的参数要进行控制,怎么做?
2、如何添加自己的参数?
3、如何实现Mahout中的AbstractJob类?

七种基于云计算的日志分析管理工具
http://www.aboutyun.com/thread-9540-1-1.html
1.如果在公司网站日志规模不大,但又想分析日志,该如何选择?
2.如何借用SaaS平台日志分析?
3.SaaS平台日志分析有哪些平台?

问答:

Storm处理流数据接收数据不完全的问题
http://www.aboutyun.com/thread-9548-1-1.html

一般使用CDH版本的hadoop,求技术分享
http://www.aboutyun.com/thread-9543-1-1.html

有关于openstack中heat组件的介绍么?
http://www.aboutyun.com/thread-9541-1-1.html












2014-10-16每日一读

每天进步一点





使用Spark和Scala分析Apache访问日志
http://www.aboutyun.com/thread-9539-1-1.html
1.如何使用Scala编写一个对Apache访问日志的分析器?
2.如何在Linux命令行启动Spark?
3.如何确定一个URL访问页面,什么导致访问页面错误?



Openstack之neutron入门三
http://www.aboutyun.com/thread-9537-1-1.html
1.Openstack网络组件的经历了几个过程?
2.Neutron主要有哪几部分组成?各自的作用是什么?
3.虚拟网络上的数据包的处理由谁来完成?

Neutron分析(1)——neutron-server启动过程分析
http://www.aboutyun.com/thread-9527-1-1.html
Neutron-Server启动包含哪些步骤?

openstack Neutron分析(2)—— neutron-l3-agent
http://www.aboutyun.com/thread-9529-1-1.html
1.neutron l3像租户提供了什么功能?
2.l3通过API来创建router或则floating ip包含几个步骤?


openstack Neutron分析(3)—— neutron-dhcp-agent源码分析
http://www.aboutyun.com/thread-9533-1-1.html
1.neutron dhcp3个主要部件分别为什么?
2.dhcp模块包含哪些内容?
3.Dnsmasq配置文件是如何创建和更新的?
4.DHCP agent的信息存放在neutron数据库的哪个表中?

扩展: neutron-dhcp-agent在neutron的作用是什么?


openstack Neutron分析(4)—— neutron-l3-agent中的iptables
http://www.aboutyun.com/thread-9536-1-1.html
1.iptables表结构,在neutron中主要用到那两张表?
2.iptables_manager是在哪个class中完成的?
3.nat表如何添加规则?

openstack Neutron分析(5)-- neutron openvswitch agent
http://www.aboutyun.com/thread-9538-1-1.html
1.openvswitch agent启动做了哪些工作?
2.你认为neutron-openvswitch-agent的作用是什么?


Linux下ifcfg-eth0配置
http://www.aboutyun.com/thread-9524-1-1.html
1.网络接口配置文件在哪个目录下面,以及接口文件中需要配置哪些东西?
2.如何关闭、激活网卡接口?
3.如何配置无需重启临时配置网卡信息?
4.如何查看当前的路由及网关信息?

使用 Docker/LXC 迅速启动一个桌面系统
http://www.aboutyun.com/thread-9531-1-1.html
1、 Docker 可以有哪些用途?
2、如何运行一个简单系统?
3、如何从主机上访问远端桌面?

15 分钟掌握 15 个 Docker 小窍门
http://www.aboutyun.com/thread-9532-1-1.html
1、为什么不用Docker容器的shell直接安装软件?
2、镜像有哪些环境变量?
3、如何更好的学习 Docker ?

Docker:集装箱式“运输”在软件上的实现
http://www.aboutyun.com/thread-9534-1-1.html
1、你如何理解Docker是集装箱式在软件上的实现?
2、Containers是如何工作的?与VMs有何不同?
3、Docker的主要功能特征有哪些?


最新调查:OpenStack、Docker、KVM被评为最火的云开源项目
http://www.aboutyun.com/thread-9535-1-1.html
1、目前有哪些火的云开源项目?
2、Openstack和Docker的发展方向是什么?
3、影响技术选用的因素和挑战有哪些?

Storm ack和fail机制个人经验总结
http://www.aboutyun.com/thread-9526-1-1.html

报错:hadoop namenode format 跟 hdfs namenode -format执行结果竟然不一样
http://www.aboutyun.com/thread-9528-1-1.html


问答:

有木有spark对hbase进行增删改的例子呀
http://www.aboutyun.com/thread-9525-1-1.html

已解决:Hadoop格式化namenode报错问题
http://www.aboutyun.com/thread-9530-1-1.html






2014-10-15每日一读
每天进步一点





Neutron网络入门(一)
http://www.aboutyun.com/thread-9523-1-1.html
1.Neutron的网络是否可以创建
2.Neutron的端口、路由器、子网该如何理解?
3.如何解释Neutron网络的一种典型结构?
4.管理员在Neutron网络中是否可以创建外网?
5.可以如何搭建自己的网络?


Openstack之neutron入门二
http://www.aboutyun.com/thread-9517-1-1.html
1.Neutron功能是什么?
2.Neutron是如何发展而来的?
3.Neutron将包含哪几个概念?
4.Neutron支持哪些plugin?



TableInputFormat分片及分片数据读取源码级分析
http://www.aboutyun.com/thread-9522-1-1.html
1.TableInputFormat类是做什么用的?
2.getSplits()方法中table的第一个region的startKey不是EMPTY_BYTE_ARRAY的话会有什么结果?
3.TableRecordReaderImpl的initialize方法都做了哪些事?
4.Pair结构由两部分组成?



企业移动办公的成功之道:桌面虚拟化
http://www.aboutyun.com/thread-9521-1-1.html
1、你觉得成功的企业移动办公是什么?
2、桌面虚拟化(DV)有什么独到之处?
3、DV 有哪些益处呢?


hbase源码之如何查询出来下一个KeyValue
http://www.aboutyun.com/thread-9520-1-1.html
1、KeyValueHeap的构造函数与seek操作有什么关系?
2、在KeyValue里是怎么被调用的?
3、populateResult方法有什么作用?

OpenStack中的Oslo.config笔记
http://www.aboutyun.com/thread-9519-1-1.html
1、oslo.config怎么使用呢?
2、如何利用oslo.config和rally模板写一个Python程序?
3、如何在其他project中使用oslo.config?


openstack 安装:如何架设apt-cacher服务,创建内网自己的私服
http://www.aboutyun.com/thread-9508-1-1.html
1.如何搭建apt-cacher服务?
2.安装apt-cacher需要做哪些配置?
3.如何确认配置生效?

大数据时代已经没有隐私
http://www.aboutyun.com/thread-9518-1-1.html



十六款值得关注的NoSQL与NewSQL数据库
http://www.aboutyun.com/thread-9516-1-1.html




问答:

求解啊 挂载卷的问题
http://www.aboutyun.com/thread-9515-1-1.html

输入过大时storm的bolt无法成功接受到来自spout的数据
http://www.aboutyun.com/thread-9514-1-1.html

openstack icehouse版本创建多个外部网络的问题
http://www.aboutyun.com/thread-9513-1-1.html

hadoop集群多台datanode,只存活两个
http://www.aboutyun.com/thread-9512-1-1.html

为什么我有个节点老是报时钟偏差
http://www.aboutyun.com/thread-9511-1-1.html

如何查看hbase版本号
http://www.aboutyun.com/thread-9509-1-1.html

hbase表存在不存在问题(已解决)
http://www.aboutyun.com/thread-9507-1-1.html

keystone指令执行过程的源码应该如何分析
http://www.aboutyun.com/thread-9506-1-1.html








2014-10-14每日一读
每天进步一点



Hadoop2.x Yarn作业提交(服务端)
http://www.aboutyun.com/thread-9496-1-1.html
1.服务于作业提交的server为ClientRMService,默认监听哪个端口?
2.如何获取作业id?

HBase 0.96.0 的数据导入: 利用ImportTsv,completebulkload,Import
http://www.aboutyun.com/thread-9497-1-1.html
1.你所了解的HBase 0.96.0 的数据导入有几种方式?
2.利用ImportTsv导入数据需要哪些步骤?
3.如何利用completebulkload 将数据导入到HBase?


flume学习(一):log4j直接输出日志到flume
http://www.aboutyun.com/thread-9499-1-1.html
1、如何让log4j直接输出日志到flume?
2、如何写一个简单的测试类来测试呢?
3、如何看到log4j的日志是否输出到了flume中?

flume学习(二):如何找到cm安装的flume的配置文件
http://www.aboutyun.com/thread-9502-1-1.html
1、如何将log4j的日志输出到agent的日志文件当中?
2、怎么将sink的type由logger变为hdfs?
3、报错?你给目录授权了吗?



flume学习(三):Flume Interceptors的使用
http://www.aboutyun.com/thread-9503-1-1.html
1、如何理解flume拦截器?
2、如何使用regex_filter和 timestamp这两个拦截器来实现一个较强的功能?
3、怎样为source1添加了两个拦截器?


flume学习(四):Flume Channel Selectors使用
http://www.aboutyun.com/thread-9504-1-1.html
1、怎样将不同项目的的日志输出到不同的channel?
2、如何理解一个sink为hdfs,一个sink为logger的拓扑结构?
3、怎样在Log4jExtAppender.java类里扩展一个参数?


Hadoop2.x Yarn作业提交(客户端)
http://www.aboutyun.com/thread-9498-1-1.html
1.hadoop2.x在客户端提交作业与hadoop1.x有哪些不同?
2.submit函数,是如何提交的作业的,这里与hadoop1有什么不同?
3.LocalClientProtocolProvider(本地作业) YarnClientProtocolProvider(Yarn作业)有哪个参数来决定?

杨澜访问李彦宏谈云端大数据
http://www.aboutyun.com/thread-9501-1-1.html


问答:

win7下运行mr报错org.apache.hadoop.util.Shell$ExitCodeException: 是什么原因么
http://www.aboutyun.com/thread-9491-1-1.html


hadoop2 里面 磁盘预留空间 配置参数 是???
http://www.aboutyun.com/thread-9492-1-1.html


HBASE importtsv导入数据问题
http://www.aboutyun.com/thread-9493-1-1.html


添加环境变量的时候报错ubuntu bash: export 没有那个文件或目录
http://www.aboutyun.com/thread-9494-1-1.html

hive如何删除分区一天的数据
http://www.aboutyun.com/thread-9490-1-1.html








2014-10-13每日一读
每天进步一点



大数据处理分析的六大工具
http://www.aboutyun.com/thread-9488-1-1.html
1.大数据处理分析使用的是哪六大工具?

Spring hadoop 访问hbase 入门指导
http://www.aboutyun.com/thread-9489-1-1.html
1.你认为该如何访问hbase?
2.Hadoop hbase需要做哪些配置?
3.pom文件需要哪些修改?

Docker源码分析(二):Docker Client创建与命令执行
http://www.aboutyun.com/thread-9482-1-1.html
1.如何通过docker命令,解析出命令行flag参数,以及docker命令中的请求参数?
2.如何处理具体的flag参数信息,并收集Docker Client所需的配置信息?
3.如何创建一个Docker Client?
4.如何解析docker命令中的请求参数,获取相应请求的类型?
5.Docker Client如何执行具体的请求命令,最终将请求发送至Docker Server?

Docker容器能够与虚拟化和谐共处
http://www.aboutyun.com/thread-9480-1-1.html
1.Docker的性能与KVM相比?
2.企业可能怎样部署Docker?
3.目前Docker还存在哪些缺陷?


怎么评价Google发布的Cloud Dataflow云数据分析工具?
http://www.aboutyun.com/thread-9484-1-1.html
1、和map-reduce模型相比,Dataflow有哪些优点?
2、Dataflow如何与Spark整合?
3、Dataflow未来发展方向是什么?


分布式设计与开发(一)---宏观概述
http://www.aboutyun.com/thread-9485-1-1.html
1、如何理解垂直提升系统性能和分布式的区别?
2、最完备的分布式体系由哪些模块组成?
3、如何设计自己的分布式系统?

分布式设计与开发(二)------几种必须了解的分布式算法
http://www.aboutyun.com/thread-9486-1-1.html
1、你觉得分布式算法有哪些是必须了解的?
2、一致性Hash算法的目的是什么?
3、Paxos算法的适用场景是什么?

分布式设计与开发(三)------高一致性服务ZooKeeper
http://www.aboutyun.com/thread-9487-1-1.html
1、ZooKeeper的基本原理是什么?
2、如何设计可靠性,高一致性的分布式服务?
3、ZooKeeper的应用领域是什么?


电商云图片实现思路
http://www.aboutyun.com/thread-9481-1-1.html


问答:
求教网站实时行为采集数据架构
http://www.aboutyun.com/thread-9483-1-1.html

求大神解答,hadoop编译native library时出错
http://www.aboutyun.com/thread-9479-1-1.html







2014-10-12每日一读
每天进步一点



Spark技术内幕:Executor
http://www.aboutyun.com/thread-9478-1-1.html
1.SparkContext创建TaskScheduler和DAG Scheduler?
2.TaskScheduler通过SchedulerBackend创建AppClient?
3.AppClient向Master提交Application?
4.Master根据AppClient的提交选择Worker?
5.Worker根据Master的资源分配结果来创建Executor?

分布式与集群的区别
http://www.aboutyun.com/thread-9474-1-1.html
1、如何理解分布式技术?
2、如何理解集群概念?
3、Linux集群主要有哪几类?
4、你如何理解分布式与集群的区别?

云计算时代的新计算模式Cloud Dataflow流式处理介绍
http://www.aboutyun.com/thread-9476-1-1.html
1.本文Cloud Dataflow的定义是什么?
2.你对Cloud Dataflow的理解是什么?
3.Cloud Dataflow是否可以用于批处理?
4.Cloud Dataflow有哪些应用?

HBase修改压缩格式及Snappy压缩实测分享
http://www.aboutyun.com/thread-9475-1-1.html
1、什么是Snappy呢?
2、如何修改HBase压缩算法?
3、如何进行结果的测试?

云计算安全感——政务云安全实践介绍
http://www.aboutyun.com/thread-9473-1-1.html
1、云安全防御架构应具备的基本要求是什么?
2、政务行业需要的云应该具备哪些特点?
3、你如何认为怎样的云服务才是安全的?

云计算时代的调度员——阿里云解析(AliDNS)
http://www.aboutyun.com/thread-9472-1-1.html
1、阿里云公司有哪些产品?
2、你如何理解阿里云的特性?

问答:
linux下运行自动的wordcount例子,运行时间超级长,报错
http://www.aboutyun.com/thread-9477-1-1.html






2014-10-11每日一读
每天进步一点




大数据最新技术:快速了解分布式计算:Google Dataflow
http://www.aboutyun.com/thread-9471-1-1.html
1.Dataflow当前的API支持什么语言?
2.相比原生的map-reduce模型,Dataflow哪些优点?
3.Dataflow与Cascading、Spark有什么区别和联系?

云计算和openstack
http://www.aboutyun.com/thread-9462-1-1.html
1、你是如何理解虚拟化与云计算的区别?
2、学习云产品openstack,需要有哪些知识?


Hadoop学习总结:Map-Reduce的过程解析
http://www.aboutyun.com/thread-9459-1-1.html
1、Map-Reduce提交一个任务是从哪里开始的?
2、JobTracker运行的main函数有哪几部分?
3、如何理解Map-Reduce实现的过程机制?

Storm框架入门
http://www.aboutyun.com/thread-9469-1-1.html
1.Topology由什么构成?
2.Topology的运行流程?方法调用流程
3.storm.zookeeper.root指的是什么?它的值是什么?

什么是结构化数据?半结构化数据?非结构化数据?
http://www.aboutyun.com/thread-9468-1-1.html
1.数据分为哪几类?
2.数据是以何种方式存储的呢?


云计算与格子计算的区别
http://www.aboutyun.com/thread-9461-1-1.html
1、你如何理解什么是云计算与格子计算?
2、云计算与网格计算区别和特点是什么?
3、如何理解OSI和TCP/IP的区别和联系?

深入理解Hadoop集群和网络
http://www.aboutyun.com/thread-9460-1-1.html
1、Hadoop集群部署时有哪些角色?
2、你如何理解Secondary Name node在Hadoop中的角色?
3、Hadoop为了实现更快的处理,引用了什么工具?
4、Hadoop网络实现机制是什么?

问答:
前辈们,我想知道能不能用flume从路由器里面抓取别人的上网数据流
http://www.aboutyun.com/thread-9470-1-1.html

hive中如何实现自定义的count呢?
http://www.aboutyun.com/thread-9466-1-1.html


求助!!IllegalAccessError: class com.google.protobuf.HBaseZeroCopyByteString
http://www.aboutyun.com/thread-9464-1-1.html





2014-10-10每日一读
每天进步一点



从Storm跟Spark Streaming学习流式实时分布式计算系统的设计要点
http://www.aboutyun.com/thread-9457-1-1.html
1.流式实时分布式计算系统有哪些共同特征,产生的背景是什么?
2.原语设计的有哪些要点?
3.元语设计中Spark、storm是如何设计的?
4.Storm有哪六种消息分发模式?

OpenStack Cinder 与 Ceph 使用进阶篇(基于 Icehouse 版本)
http://www.aboutyun.com/thread-9456-1-1.html
1.Cinder QoS API可以完成什么功能?
2.RabbitMQ在openstack中作用是什么?
3.每个卷在 Cinder 中都有一个对应的 Host 负责管理该卷是为了解决什么问题?


Hive整合HBase——通过Hive读/写 HBase中的表
http://www.aboutyun.com/thread-9450-1-1.html
1、Hive整合HBase原理的实现机制是什么?
2、导入数据的流程有哪些呢?
3、如何分别查看Hive、HBase中的数据?

maven介绍总结
http://www.aboutyun.com/thread-9449-1-1.html
1、什么是maven,能做什么,不能做什么?
2、maven的依赖管理和组成部分是什么?
3、完整的maven生命周期有哪些内容?

openstack 实现手动迁移虚拟机
http://www.aboutyun.com/thread-9453-1-1.html

Fuel 30 分钟快速安装openstack
http://www.aboutyun.com/thread-9451-1-1.html
1、如何比较轻松的安装openstack?
2、什么是Fuel ?
3、如何用fuel部署需要环境中的openstack,如何体验?

Hadoop 自定义Writable NullpointerException
http://www.aboutyun.com/thread-9447-1-1.html
1、在定义Hadoop的Writable时候,如何使用到数组?
2、如何不需要通过外部传入,从in中读取即可呢?
3、如何解决空指针的问题?

Storm升级成为Apache顶级项目
http://www.aboutyun.com/thread-9446-1-1.html


hbase 40道测试题
http://www.aboutyun.com/thread-9455-1-1.html

新手常犯错误zkServer.sh: command not found错误经历
http://www.aboutyun.com/thread-9448-1-1.html


问答:

帮忙谢谢(求spark资料)
http://www.aboutyun.com/thread-9443-1-1.html

Apache、CDH和Cloudera三者有什么区别?
http://www.aboutyun.com/thread-9454-1-1.html

求解--各位大神帮帮忙解答一下出现什么问题了?????
http://www.aboutyun.com/thread-9445-1-1.html


Spark读取hbase报错
http://www.aboutyun.com/thread-9444-1-1.html





2014-10-09每日一读
每天进步一点





去公司面试,记录下的最新hadoop面试题
http://www.aboutyun.com/thread-9429-1-1.html

SolrCloud原理介绍
http://www.aboutyun.com/thread-9431-1-1.html
1.SolrCloud是Solr4.0版本以后一种什么解决方案?
2.SolrCloud有哪些特色?
3.通过MR批量创建索引有什么好处?

solrCloud集群配置指导
http://www.aboutyun.com/thread-9432-1-1.html
1.solrCloud该如何安装?
2.zoo.cfg中参数的含义是什么?
3.server.X 这个数字与 data/myid关系是什么?
4.同一客户端server.X=192.168.238.133:2888:3888 各个端口是否可以同一个端口例如:server.1=192.168.238.133:2888:3888 ,server.2=192.168.238.133:2888:3888 ?


solr4.8 高亮查询和配置
http://www.aboutyun.com/thread-9433-1-1.html
1.solr如何实现高亮?
2.solr高亮参数该如何配置?
3.solr使用高亮时需要注意的地方?

OpenStack Heat模板学习二 之LBaaS(负载均衡即服务)
http://www.aboutyun.com/thread-9439-1-1.html
1.HOT的spec文档包含哪些内容?
2.public网络和路由器是通过什么相连的?

OpenStack Heat 模板学习一 之hello world
http://www.aboutyun.com/thread-9438-1-1.html
1.什么是Heat?
2.学习Heat主要学习什么内容?
3.如何安装Heat?


资源推荐:
万亿数据实时接入与基于sql的实时应用开发
http://www.aboutyun.com/thread-9440-1-1.html
分布式原理介绍
http://www.aboutyun.com/thread-9441-1-1.html


问答:
如何在Linux下定时删除日志中的内容
http://www.aboutyun.com/thread-9434-1-1.html

storm我想把标记位值为A的数据发送到A_Bolt,值为B的发送到B_Bolt,这个怎么做?
http://www.aboutyun.com/thread-9435-1-1.html

通过shell安装的软件,怎么设置服务开机自启动
http://www.aboutyun.com/thread-9436-1-1.html

如何使用mapreduce过滤处理数据
http://www.aboutyun.com/thread-9437-1-1.html










2014-10-08每日一读
每天进步一点



Yarn中的四种状态机介绍
http://www.aboutyun.com/thread-9424-1-1.html
1.什么是状态机?
2. Yarn的资源管理模块ResourceManager有哪四种状态机?
3.四种状态机的作用是什么?
3.Yarn中对Container了解多少?

Impala性能调整一
http://www.aboutyun.com/thread-9418-1-1.html
1.影响Impala功能性能的各种因素?
2.如何对Impala查询进行性能调整和监控?


Impala性能调整二
http://www.aboutyun.com/thread-9419-1-1.html
1.如何测试Impala性能?
2.EXPLAIN计划?

Mac os10.9.4下安装Hadoop2.4.0
http://www.aboutyun.com/thread-9421-1-1.html
1.mahout安装注意点有哪些?

2.如何用ant编译hadoop-eclipse-plugin-2.4.0插件?



推荐资源:
Hive编程指南【完整版】书籍分享
http://www.aboutyun.com/thread-9428-1-1.html

Pig编程指南【完整版】书籍分享
http://www.aboutyun.com/thread-9427-1-1.html

Hadoop技术内幕:深入解析YARN架构设计与实现原理【完整版】
http://www.aboutyun.com/thread-9426-1-1.html


各个版本Linux系统安装部署openstack icehouse在线英文文档汇总及下载
http://www.aboutyun.com/thread-9417-1-1.html

openstack最新版--- juno版最新官网文档
http://www.aboutyun.com/thread-9423-1-1.html

问答:
为什么我连续执行执行两次jps,输出结果不一样?
http://www.aboutyun.com/thread-9416-1-1.html








2014-10-07每日一读
每天进步一点



Linux(ubuntu12.04)单节点伪分布安装CDH5.1.X及提交wordcount到yarn高可靠文档
http://www.aboutyun.com/thread-9405-1-1.html
1.如何安装CDH5?
2.如何安装Yarn?
3.如何验证是否安装成功?
4.运行wordcount,需要做哪些准备?

跟着实例学Oozie
http://www.aboutyun.com/thread-9415-1-1.html
1.如何应用Oozie?
2.提醒邮件的程序如何编写?
3.Oozie各个配置参数的含义?



Oozie简介
http://www.aboutyun.com/thread-9414-1-1.html
1.什么是Oozie?
2.Oozie在什么场景下使用?
3.如何安装Oozie?

对象存储系统Swift技术详解:综述与概念(上)
http://www.aboutyun.com/thread-9411-1-1.html
1.Proxy Server的作用是什么?
2.对象服务器作用是什么?
3.容器服务器首要工作是什么?

对象存储系统Swift技术详解:综述与概念(下)
http://www.aboutyun.com/thread-9413-1-1.html

OpenStack对象存储——Swift
http://www.aboutyun.com/thread-9410-1-1.html
1. Swift 有哪些特性?
2. Swift 有哪些主要组件?
3. Swift 用到哪些算法?

Openstack存储swift多代理节点安装配置
http://www.aboutyun.com/thread-9409-1-1.html
1. Openstack存储swift多代理节点如何安装配置?
2. 如何新增一个节点?

深入云存储系统Swift核心组件:Ring实现原理剖析
http://www.aboutyun.com/thread-9408-1-1.html
1. 在分布式对象存储中,数据如何存放?
2. ring 的构建原理?
3. 引入一致性哈希的原因?


资源:
ios、andriod视频教程
http://www.aboutyun.com/thread-9412-1-1.html

Hadoop MapReduce案例英文视频(带字幕)视频
http://www.aboutyun.com/thread-9404-1-1.html

问答:

关于hdfs的疑问
http://www.aboutyun.com/thread-9407-1-1.html





2014-10-06每日一读
每天进步一点



各个版本Linux单节点伪分布安装CDH5及提交wordcount到yarn高可靠文档
http://www.aboutyun.com/thread-9403-1-1.html
1.安装cdh5伪分布配置文件在什么位置?
2.不同的操作系统,cdh5的安装过程都包含哪些流程?
3.在yarn上运行wordcount都需要哪些准备?
4.CDH5是如何安装的?


Spark源码分析(四)-Job提交过程
http://www.aboutyun.com/thread-9402-1-1.html
1.Job的提交过程主要经过哪些对象的处理?
2.Dependency类的作用是什么?它包含哪些对象?
3.分析下DAGScheduler处理job的过程


Storm入门指南第四章 Spouts
http://www.aboutyun.com/thread-9401-1-1.html
1.用来设计topology(spout)的策略?
2.spout是如何具有容错能力的?
3.从多个数据源高效地收集数据的常用技术有哪些?

分布式网站架构后续:zookeeper技术浅析
http://www.aboutyun.com/thread-9400-1-1.html
1. zookeeper 实际应用场景?
2. zookeeper 特点?

架构设计:远程调用服务架构设计及zookeeper技术详解(上篇)
http://www.aboutyun.com/thread-9398-1-1.html
1. 3.0版本的网站如何架构?
2. 如何保证远程调用框架的稳定性?




架构设计:远程调用服务架构设计及zookeeper技术详解(下篇)
http://www.aboutyun.com/thread-9399-1-1.html
1. 远程调用管理组件和服务调用者如何推送消息?
2. 远程调用服务的框架如何实现多线程和通讯?

架构设计:一种远程调用服务的设计构思(zookeeper的一种应用实践)
http://www.aboutyun.com/thread-9397-1-1.html
1. 远程调用框架包含哪些技术?
2. 远程调用框架的运行过程?








2014-10-05每日一读
每天进步一点



Spark源码分析(三):TaskScheduler创建
http://www.aboutyun.com/thread-9392-1-1.html
1.TaskScheduler的工作原理是什么?
2.TaskScheduler与SchedulerBackend组合方式有哪些?
3.SparkDepolySchedulerBackend、TaskSchedulerImpl这些类的作用是什么?

Spark源码分析:SparkContext创建
http://www.aboutyun.com/thread-9391-1-1.html
1.SparkContext类创建过程中涉及到哪些对象?
2.SparkContext的创建过程需要几个步骤?
3.涉及到几种监听器?
4.StorageStatusListener监听器的作用?
5.spark.eventLog.enabled的值有哪些?

从远程调用框架认识Zookeeper
http://www.aboutyun.com/thread-9396-1-1.html
1. 如何设计远程调用服务的架构?
2. zookeeper如何完成远程调用服务?

Windows Phone云应用开发实践之(三)——OData
http://www.aboutyun.com/thread-9395-1-1.html
1. Windows Azure平台的主要数据访问机制?
2. 如何分页显示OData数据?

Windows Phone 云应用开发实践之(一)Windows Azure
http://www.aboutyun.com/thread-9394-1-1.html
1.  Windows Azure 提供哪些服务?
2.  如何同构建应用程序并将其部署到Windows Azure?


Windows Phone 云应用开发实践之(二)Windows Live SDK
http://www.aboutyun.com/thread-9393-1-1.html
1. 什么是 Windows Live SDK ?
2. 如何使用Windows Live SDK调用SkyDrive接口?




2014-10-04每日一读
每天进步一点



Spark源码分析(三):TaskScheduler创建
http://www.aboutyun.com/thread-9392-1-1.html
1.TaskScheduler的工作原理是什么?
2.TaskScheduler与SchedulerBackend组合方式有哪些?
3.SparkDepolySchedulerBackend、TaskSchedulerImpl这些类的作用是什么?

Spark源码分析:SparkContext创建
http://www.aboutyun.com/thread-9391-1-1.html
1.SparkContext类创建过程中涉及到哪些对象?
2.SparkContext的创建过程需要几个步骤?
3.涉及到几种监听器?
4.StorageStatusListener监听器的作用?
5.spark.eventLog.enabled的值有哪些?

从远程调用框架认识Zookeeper
http://www.aboutyun.com/thread-9396-1-1.html
1. 如何设计远程调用服务的架构?
2. zookeeper如何完成远程调用服务?

Windows Phone云应用开发实践之(三)——OData
http://www.aboutyun.com/thread-9395-1-1.html
1. Windows Azure平台的主要数据访问机制?
2. 如何分页显示OData数据?

Windows Phone 云应用开发实践之(一)Windows Azure
http://www.aboutyun.com/thread-9394-1-1.html
1.  Windows Azure 提供哪些服务?
2.  如何同构建应用程序并将其部署到Windows Azure?


Windows Phone 云应用开发实践之(二)Windows Live SDK
http://www.aboutyun.com/thread-9393-1-1.html
1. 什么是 Windows Live SDK ?
2. 如何使用Windows Live SDK调用SkyDrive接口?








2014-10-04每日一读
每天进步一点



Spark简介:适用场景、核心概念、创建RDD、支持语言等介绍
http://www.aboutyun.com/thread-9389-1-1.html
1.大数据有哪四大特征?
2.Spark和Hadoop有什么不同呢?
3.Spark的适用哪些场景?
4.RDD的生成有哪两种创建方式?
5.Spark支持哪些语言开发?

解析Ceph: 数据的端到端正确性和 Scrub 机制
http://www.aboutyun.com/thread-9383-1-1.html
1.什么是Scrub?
2.如何触发Scrub流程?
3.目前的Scurb机制存在什么问题,如何解决?


Neutron防火墙
http://www.aboutyun.com/thread-9381-1-1.html
1.Juno相比Icehouse有什么变化?
2.如何改善Neutron的性能?
3.Horizon有什么改进?


CDH5安装环境要求包括:操作系统、数据库、jdk、ipv等
http://www.aboutyun.com/thread-9385-1-1.html
1.CDH5是否支持ubuntu14.04?
2.CDH 5对于CentOS支持哪些版本?
3.CDH5支持哪些数据库及版本?
4.CDH5支持jdk的哪个版本?
扩展:
5.安装CDH5为什么要关闭IPv6?

Cloudera安装下载CDH失败,该如何解决
http://www.aboutyun.com/thread-9371-1-1.html

Juno——OpenStack评论系列
http://www.aboutyun.com/thread-9380-1-1.html

hr必读:漫谈选人与培训
http://www.aboutyun.com/thread-9384-1-1.html

新手指导总结,怎么样才能在hadoop环境下计算运行程序
http://www.aboutyun.com/thread-9379-1-1.html


openstack开发python教程
http://www.aboutyun.com/thread-9388-1-1.html

Hadoop on windows、Amazon EC2、 centos等英文本视频
http://www.aboutyun.com/thread-9386-1-1.html











2014-10-03每日一读
每天进步一点



Spark源码分析(一)-Standalone启动过程
http://www.aboutyun.com/thread-9377-1-1.html
1.Standalone部署方式包含哪些组件?
2.driver启动包含哪些过程?
3.Worker启动调用关系是什么?

hadoop2提交到Yarn: Mapreduce执行过程reduce分析3
http://www.aboutyun.com/thread-9375-1-1.html
1.Reduce类主要有哪三个步骤?
2.Reduce的Copy都包含什么过程?
3.Sort主要做了哪些工作?


Cinder卷迁移流程
http://www.aboutyun.com/thread-9374-1-1.html
1.Cinder卷迁移分哪几步?
2.卷迁移中的force_host_copy的值决定了什么?
3.冷迁移通过什么实现?


DBaaS与Trove
http://www.aboutyun.com/thread-9373-1-1.html
1.为什么需要DBaaS?
2.AWS上的DBaaS有什么特点?
3.Trove由哪些组件组成?





2014-10-02每日一读
每天进步一点




hadoop2提交到Yarn: Mapreduce执行过程分析2
http://www.aboutyun.com/thread-9370-1-1.html
1.hadoop哪些数据类型,是如何与Java数据类型对应的?
2.ApplicationMaster什么时候启动?
3.YarnChild进程什么时候产生?
4.如果在recuece的情况下,map任务完成暂总任务的多少百分比?
5.run的执行步骤是什么?
6.哪个方法来执行具体的map任务?
7.获取配置信息为哪个类?
8.TaskAttemptContextImpl还增加了什么信息?

Spark架构与作业执行流程简介
http://www.aboutyun.com/thread-9367-1-1.html
1.如何在Spark的伪分布模式下运行?
2.Driver可以运行在哪里?
3.Standalone模式有什么特点

Docker源码分析(一):Docker架构
http://www.aboutyun.com/thread-9369-1-1.html
1.Docker Client如何与Docker Daemon交互?
2.Docker Server的功能是?
3.什么是Docker Container?


Ceph的现状
http://www.aboutyun.com/thread-9368-1-1.html
1.什么是RADOS?
2.Ceph支持哪些云软件?
3.Ceph有哪些主要的子项目?






2014-10-01每日一读
每天进步一点








hadoop2提交到Yarn: Mapreduce执行过程分析1
http://www.aboutyun.com/thread-9366-1-1.html
1.为什么会产生Yarn?
2.Configuration类的作用是什么?
3.GenericOptionsParser类的作用是什么?
4.如何将命令行中的参数配置到变量conf中?
5.哪个方法会获得传入的参数?
6.如何在命令行指定reduce的个数?
7.默认情况map、reduce为几?
8.setJarByClass的作用是什么?
9.如果想在控制台打印job(maoreduce)当前的进度,需要设置哪个参数?
10.配置了哪个参数,在提交job的时候,会创建一个YARNRunner对象来进行任务的提交?
11.哪个类实现了读取yarn-site.xml、core-site.xml等配置文件中的配置属性的?
12.JobSubmitter类中的哪个方法实现了把job提交到集群?
13.DistributedCache在mapreduce中发挥了什么作用?
14.对每个输入文件进行split划分,是物理划分还是逻辑划分,他们有什么区别?
15.分片的大小有哪些因素来决定
16.分片是如何计算得来的?


深入分析HBase-RPC(Protobuf)实现机制
http://www.aboutyun.com/thread-9364-1-1.html
1、 HBase-RPC实现机制是什么?
2、如何理解从功能上讲,RpcServer上包含了三个模块?
3、Protobuf内置编码与传统压缩技术是否可以配合使用?

Google-MegaStore的解读
http://www.aboutyun.com/thread-9363-1-1.html
1、什么是MegaStore?
2、MegaStore的数据模型是什么?
3、MegaStore的部署包括哪些部分内容?

HFile文件格式与HBase读写
http://www.aboutyun.com/thread-9362-1-1.html
1、HBase存储数据的文件组织形式是什么?
2、HFile文件的特点有哪些?
3、HFile V2的写操作流程是怎样的?

HBase深入分析之RegionServer
http://www.aboutyun.com/thread-9361-1-1.html
1、如何理解RegionServer在HBase集群中的作用?
2、WAL的管理涉及哪些内容?
3、怎样尽可能减少因为控制内存造成数据更新流程的阻塞?





资源:
openstack redhat 两小时安装部署
http://www.aboutyun.com/thread-9365-1-1.html

问答:
如何debug WordCount?
http://www.aboutyun.com/thread-9358-1-1.html










2014-09-30每日一读
每天进步一点



百度云MongoDB经验分享及遇到问题解决办法
http://www.aboutyun.com/thread-9345-1-1.html
1.百度是怎么用Mongo的?
2.连接数爆炸的问题的原因是什么?
3.auto balancer会出现什么问题?

百度云开发文档汇总及概述
http://www.aboutyun.com/thread-9344-1-1.html
1.百度为云开发者提供了哪些云服务?
2.什么是百度媒体云服务
3.云推送有什么好处?
4.个人数据存储支持哪些类型?
5.你认为第三方帐号登录有什么用处?

对Map/Reduce分区与分组的实例分析
http://www.aboutyun.com/thread-9353-1-1.html
1.Map/Reduce为什么分区?
2.分组的作用是什么?
HDFS 单点改造方案对比
http://www.aboutyun.com/thread-9350-1-1.html
1、HDFS的命名空间包含了什么?
2、Namenode的内存空间遇到瓶颈怎样处理?
3、JDFS开发步骤流程有哪些?

hadoop之HDFS:数据块恢复与文件上传测试
http://www.aboutyun.com/thread-9349-1-1.html
1、块恢复操作主要受哪些影响?
2、数据块恢复测试场景需要什么?
3、通过对Client与DataNode通信性能分析,读写小文件和性能有什么关系?

OpenStack Swift源码导读之业务整体架构和Proxy进程
http://www.aboutyun.com/thread-9348-1-1.html
1、Swift的源码目录结构分别是什么?
2、你如何理解基于PasteDeploy的堆栈式WSGI架构?
3、什么是节点寻找过程?

OpenStack Swift源码导读之可插拔的后端设备实现
http://www.aboutyun.com/thread-9347-1-1.html
1、是什么让Swift存储的构建更加灵活了呢?
2、/swift/swift/obj/mem_diskfile.py用于什么?
3、如何理解REST API?

在Ubuntu14.04上搭建openstack镜像制作环境KVM
http://www.aboutyun.com/thread-9356-1-1.html

Hadoop2HA ls出现链接失败Call From 192.168.226.92 to cluster:8020
http://www.aboutyun.com/thread-9354-1-1.html

问答:
问几个Flume的问题
http://www.aboutyun.com/thread-9355-1-1.html
在二次排序中的分组函数的作用是什么?
http://www.aboutyun.com/thread-9351-1-1.html
Spark应用程序开发运行报错
http://www.aboutyun.com/thread-9346-1-1.html







2014-09-29每日一读
每天进步一点



kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
http://www.aboutyun.com/thread-9341-1-1.html
1.zookeeper在kafka的作用是什么?
2.kafka中几乎不允许对消息进行“随机读写”的原因是什么?
3.kafka集群consumer和producer状态信息是如何保存的?
4.partitions设计的目的的根本原因是什么?

scala eclipse sbt( Simple Build Tool) 应用程序开发
http://www.aboutyun.com/thread-9340-1-1.html
1、如何方便、快速、有效得在Eclipse下编译打包Scala应用程序?
2、怎样使用Sb来构建发布程序?
3、添加sbt eclipse插件有哪些配置方式?

Spark SQL源码分析之核心流程
http://www.aboutyun.com/thread-9339-1-1.html
1、如何对Spark SQL进行一些测试?
2、SQLContex有哪些成员?
3、Spark SQL的核心执行流程是什么?

Windows下基于eclipse的Storm应用开发与调试
http://www.aboutyun.com/thread-9338-1-1.html
1.编写Topology,由哪三步分组成?
2.创建maven工程的作用是什么?
3.如何编写编写Spout、bolt、topo?

Spark SQL Catalyst源码分析之UDF
http://www.aboutyun.com/thread-9337-1-1.html
1、如何使用可扩展的对外自定义函数接口?
2、 Analyzer初始化的时候会需要什么?
3、  编写一个spark udf

Spark SQL UDF使用
http://www.aboutyun.com/thread-9336-1-1.html
1、什么是Uer Define Function功能?
2、如何在Spark SQL 里自定义实际需要的UDF来处理数据?
3、如何测试concat函数?

jstorm 0.9.5安装
http://www.aboutyun.com/thread-9334-1-1.html
1.如何找到jstorm的各个版本?
2.如何查看jstorm命令?
3.如何启动jstorm:nimbus?
4.那么命令可以提交拓扑任务?

win7 eclipse 调用hadoop 2.5 没有执行/tmp目录的权限
http://www.aboutyun.com/thread-9343-1-1.html

Spark1.0.2集群配置好之后,运行自带的SparkPi例子报错
http://www.aboutyun.com/thread-9335-1-1.html







2014-09-28每日一读
每天进步一点




如何在Storm编程实现与Kafka的集成
http://www.aboutyun.com/thread-9316-1-1.html
1.如何编程实现Storm与Kafka集成?
2.Storm中Topology如何实现的?
3.如何验证集成效果?



IT行业大型网站系统架构演化过程
http://www.aboutyun.com/thread-9317-1-1.html
1.缓存对于网站的作用是什么?
2.随着业务的不断扩展,应用、数据、文件分离的原因是什么?
3.数据库读写分离和分库分表能解决什么问题?
4.CDN解决了网站什么问题?
扩展:
5.整个IT行业系统架构是如何演化的?


spark on yarn提交任务时一直显示ACCEPTED
http://www.aboutyun.com/thread-9318-1-1.html
1、spark-env.sh作何配置?
2、提交spark任务时如何使用自己打包的jar包?

Spark2: 对RDD进行编程系列
http://www.aboutyun.com/thread-9319-1-1.html
1、什么是Actions?
2、怎么对RDD做持久化?
3、 union和intersection各有什么不同?

Spark SQL 源码分析之 In-Memory Columnar Storage 之 cache table
http://www.aboutyun.com/thread-9321-1-1.html
1、如何将一张表缓存到内存中,来极大提高查询效率?
2、Spark SQL 的内存数据是如何组织的?
3、如何理解基于Column的ByteBuffer存储?



资源:

docker从入门到实践
http://www.aboutyun.com/thread-9331-1-1.html

Storm入门指南
http://www.aboutyun.com/thread-9332-1-1.html

很牛叉的三本书:深入浅出统计学、深入浅出数据分析、算法导论中文版
http://www.aboutyun.com/thread-9330-1-1.html

Hadoop权威指南第三版修订版电子书(英文)
http://www.aboutyun.com/thread-9322-1-1.html

openstack-ice-house云环境构建
http://www.aboutyun.com/thread-9323-1-1.html

openstack installation Guide for red hat Enterprise Linux,CentOS, and Fedora
http://www.aboutyun.com/thread-9324-1-1.html

Swift自编精品教程
http://www.aboutyun.com/thread-9325-1-1.html

openstack operations Guide英文书籍
http://www.aboutyun.com/thread-9326-1-1.html

2014中国系统架构师大会:视频CDN技术分享
http://www.aboutyun.com/thread-9327-1-1.html

hadoop:a framework for data-Intensive Distributed Computing
http://www.aboutyun.com/thread-9328-1-1.html

CloudStack安装部署详细教程(KVM篇)
http://www.aboutyun.com/thread-9329-1-1.html





2014-09-27每日一读
每天进步一点



Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装高可靠文档
http://www.aboutyun.com/thread-9303-1-1.html
1.Cloudera Manager5如何使用cloudera-manager-installer.bin安装?
2.Cloudera Manager5安装被中断该如何继续安装?还是重新安装?
3.安装过程cloudera server与agent不能通信该如何解决?
4.Cloudera Manager5对是否有要求?
5.安装服务的过程中,遇到错误,该如何解决?


zookeeper项目使用经验总结
http://www.aboutyun.com/thread-9304-1-1.html
1.为什么让集群存在优先级?
2.不同地区(美国、青岛、香港等)的集群,该如何使用zookeeper?
3.异步Watcher处理的作用是什么?
4.Watcher是否为原子性?      


ZooKeeper系列1:ZooKeeper的配置
http://www.aboutyun.com/thread-9308-1-1.html
1.zookeeper有哪些配置文件?
2.zookeeper最低配置需要哪些配置项?
3.zookeeper高级配置需要配置哪些项?

ZooKeeper系列2:ZooKeeper的运行
http://www.aboutyun.com/thread-9309-1-1.html
1、如何启动ZooKeeper 服务?
2、如何启动集群

ZooKeeper系列3:ZooKeeper命令、命令行工具及简单操作
http://www.aboutyun.com/thread-9310-1-1.html
1.ZooKeeper包含哪些常用命令?
2.通过什么命令可以列出服务器 watch 的详细信息?
3.ZooKeeper包含哪些操作?
4.ZooKeeper如何创建zookeeper?

ZooKeeper系列4:ZooKeeper API简介及编程
http://www.aboutyun.com/thread-9311-1-1.html
1.ZooKeeper API 共包含几个包?
2.如何使用ZooKeeper API 创建zookeeper应用程序?

Kafka编程实例
http://www.aboutyun.com/thread-9312-1-1.html
1.Kafka中Producer是什么?
2.如何实现Producer和Consumer应用程序?

最简洁的kafka开发实例
http://www.aboutyun.com/thread-9313-1-1.html
1.如何启动kafka?
2.如何通过代码实现生产者例子 ?
3.如何通过代码实现消费者例子 ?



资源推荐:
hadoop2、YATN、mapreduce高级进阶、商业案例、flume、项目案例等资源分享
http://www.aboutyun.com/thread-9307-1-1.html


问答:

HDFS与一般文件系统的区别
http://www.aboutyun.com/thread-9305-1-1.html

使用sqoop从mysql向hive导入数据报错
http://www.aboutyun.com/thread-9306-1-1.html

使用DistributedCache出错
http://www.aboutyun.com/thread-9314-1-1.html





2014-09-26每日一读
每天进步一点





Cloudera Manager5 在线bin安装遇到No socket could be created on[Errno 99] 总结
http://www.aboutyun.com/thread-9293-1-1.html
hostname 实际ip地址及hosts配置不一致会出现什么情况?

Storm总结-Storm 中acker的工作流程
http://www.aboutyun.com/thread-9295-1-1.html
1、storm完整处理的意思是指什么?
2、acker对消息进行处理的代码如何理解?
3、为什么说generated-ids是input-tuple的子tuple呢?

MongoDB - 它是什么?从哪里来?
http://www.aboutyun.com/thread-9299-1-1.html
1、MongoDB主要功能特性是什么?
2、为什么对MongoDB说不?
3、使用MongoDB,最糟糕的问题是什么?

Storm 本地目录结构
http://www.aboutyun.com/thread-9298-1-1.html
1、了解Storm 本地目录结构前提是什么?
2、如何学习Storm 本地文件?

Twitter Storm的新利器Pluggable Scheduler
http://www.aboutyun.com/thread-9297-1-1.html
1、Twitter Storm的新特性有哪些?
2、什么是Pluggable Scheduler?
3、让Storm知道我们的Scheduler,配置如何做?


问答:
使用sqoop 1.4.4从mysql向hdfs导入表出现链接数据库失败错误的解决办法
http://www.aboutyun.com/thread-9302-1-1.html

nutch 2.2 org.apache.gora.sql.store.SqlStore
http://www.aboutyun.com/thread-9301-1-1.html

win7 连接hadoop 出错
http://www.aboutyun.com/thread-9294-1-1.html





2014-09-25每日一读
每天进步一点



基于 OpenStack 的私有云开发部署实践
http://www.aboutyun.com/thread-9285-1-1.html
1.VMMS 的开发管理策略有哪些?
2.OpenStack 云管理平台部署后,在存储和扩展性上还存在哪些问题?
3.如何实现虚拟机在线迁移和物理机宕机迁移?
4.如何搭建OpenStack 本地仓库?

zookeeper基本原理
http://www.aboutyun.com/thread-9292-1-1.html
1.zk service什么情况下不可用?
2.zk写数据,什么时候才算完成?
3.zk读数据可以在任意一台zk节点上,为什么?
4.zk znode有哪些类型?

zookeeper中Watcher和Notifications
http://www.aboutyun.com/thread-9291-1-1.html
1.zookeeper观察者什么时候调用?
2.传统远程轮询服务存在什么问题?
3.zk中回调服务的机制是什么?
4.zk中watcher为什么不永久注册?
5.什么是znode?

理解Hadoop HDFS写文件原理
http://www.aboutyun.com/thread-9290-1-1.html
1、做一个HDFS写文件的测试,需要准备什么环境?
2、如何对DataNode分析,有哪些节点?
3、Client发起写文件的请求流程是什么?

Storm【开发实战】- 流方式的统计系统
http://www.aboutyun.com/thread-9289-1-1.html
1、 初期硬件准备的条件是什么?
2、在数据发射过程之中,要注意什么?
3、如何完成一个Ip到 CITY,COUNTRY 的转换?

Storm技术文档-Storm的Acker机制
http://www.aboutyun.com/thread-9288-1-1.html
1、什么是Storm的Acker机制?
2、如何更好的利用Storm的可靠性?

业务系统-kafka-Storm-将日志文件打印到local
http://www.aboutyun.com/thread-9287-1-1.html
1、学习将日志文件打印到local,需要准备什么?
2、一个正式环境系统的系统设计包括什么?
3、怎样使用storm将日志文件打印到local?


虚拟机:hadoop磁盘空间不够,如何增加磁盘空间
http://www.aboutyun.com/thread-9284-1-1.html







2014-09-24每日一读
每天进步一点



zookeeper适用场景:如何竞选Master及代码实现
http://www.aboutyun.com/thread-9277-1-1.html
1.如何利用zookeeper保证集群Master可用性和唯一性?
2.zookeeper竞选Master包含哪些过程?
3.zookeeper竞选Master机制利用了zk哪些特性?

zookeeper适用场景:配置文件同步
http://www.aboutyun.com/thread-9271-1-1.html
1.本文三个角色之间是什么关系?
2.三个角色的作用是什么?
3.如何代码实现这三个角色的作用?

虚拟机克隆你所要做的第一件事情
http://www.aboutyun.com/thread-9280-1-1.html
1.克隆虚拟机需要注意什么事情?
2.如何生成新的mac地址?

基于 Open vSwitch 的 OpenFlow 实践
http://www.aboutyun.com/thread-9281-1-1.html
1、什么是OpenFlow?
2、如何通过 OpenFlow 协议修改 Open vSwitch 中的流表项?
3、如何使用 Floodlight 连接 Open vSwitch 并进行管理?


使用OpenStack组件打造开源版EMC ViPR
http://www.aboutyun.com/thread-9273-1-1.html
1、什么是EMC ViPR?
2、ViPR的特点是什么?
3、Cinder支持的存储类型有哪些?
4、如何使用OpenStack组件打造开源版EMC ViPR?

10分钟安装OpenStack
http://www.aboutyun.com/thread-9272-1-1.html
1、如何高效,简便的部署OpenStack?
2、快速体验OpenStack的方法有哪些?
3、如何配置文件localrc?

Cloudera Manager Server5启动后又挂掉的原因总结
http://www.aboutyun.com/thread-9268-1-1.html
1.cloudera CM5需要使用哪个版本jdk,jdk1.6是否适合CM5
2.cloudera server挂机的可能原因有几种?
3.cloudera server重启又挂掉该如何解决?

storm topology优化思路
http://www.aboutyun.com/thread-9282-1-1.html

闲聊云存储用户群
http://www.aboutyun.com/thread-9278-1-1.html

实例解析:HDFS实体间IPC接口和stream接口之间的配合
http://www.aboutyun.com/thread-9269-1-1.html

问答:
关于部署hadoop的服务器如何分区
http://www.aboutyun.com/thread-9276-1-1.html
Hadoop里面如何查看一个文件的分布在哪几个节点上
http://www.aboutyun.com/thread-9270-1-1.html





2014-09-23每日一读
每天进步一点




zookeeper适用场景:zookeeper解决了哪些问题
http://www.aboutyun.com/thread-9266-1-1.html
1.master挂机,传统做法备份必然是以前数据,该如何保证挂机数据与备份数据一致?
2.分布式系统如何实现对同一资源的访问,保证数据的强一致性?
3.集群中的worker挂了,传统做法是什么?zookeeper又是如何做的?

zookeeper适用场景:分布式锁实现
http://www.aboutyun.com/thread-9267-1-1.html
1.zookeeper如何实现分布式锁?
2.什么是羊群效应?
3.zookeeper如何释放锁?

OpenStack学习历程及英文图书推荐
http://www.aboutyun.com/thread-9265-1-1.html
1、你觉得学习OpenStack的思路是什么?
2、学习OpenStack有哪些好资料?

关于OpenStack中Nova的几个基本概念
http://www.aboutyun.com/thread-9264-1-1.html
1、学习OpenStack API,从何入门?
2、server、manager、driver的关系是什么?
3、Nova中重点有哪些代码尤其值得重视?

获取Keystone token的三种方式
http://www.aboutyun.com/thread-9262-1-1.html
1、从Keystone获得token的方式有哪些?
2、为什么使用 Python Keystone Client 方式最好?

[OpenStack 存储] Nova,Glance与Cinder 基于Ceph的统一存储方案
http://www.aboutyun.com/thread-9254-1-1.html
1.Ceph是什么?
2.1.CEPH的底层是什么?
3.CEPH存储集群中包含哪些层次结构?
4.本文是如何建立Nova,Glance与Cinder 基于Ceph的统一存储方案的?


关于about云大数据项目日志的几个疑问解答
http://www.aboutyun.com/thread-9255-1-1.html

程序员学习大数据云技术的 10 个(方法)建议
http://www.aboutyun.com/thread-9258-1-1.html

使用Saltstack自动部署Openstack集群
http://www.aboutyun.com/thread-9259-1-1.html

有人知道Compute节点有灾备机制吗?
http://www.aboutyun.com/thread-9263-1-1.html

mapreduce 后向hbase写数据 为什么会报找不BasicAlgorithm
http://www.aboutyun.com/thread-9260-1-1.html

openstack 平台创建的实例,如何实现开机 自动启动呢
http://www.aboutyun.com/thread-9257-1-1.html





2014-09-21每日一读
每天进步一点



中文分词算法 之 基于词典的正向最大匹配算法
http://www.aboutyun.com/thread-9241-1-1.html
1.中文分词算法包含哪些流程?
2.DIC.contains(tryWord))词的作用是什么?
3.词典越来越大,内存占用越来越多怎么办?

基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎
http://www.aboutyun.com/thread-9240-1-1.html
1.网络爬虫、分布式数据库、搜索引擎之间的关系是什么?
2.本文网络爬虫架构是什么?
3.扩展:基于网络爬虫是否有其它架构?

Redis复制与可扩展集群搭建
http://www.aboutyun.com/thread-9238-1-1.html
1、Redis的主从复制策略你如何理解?
2、如何选择Redis的主从复制?
3、Redis集群如何搭建与在线扩容?

海量数据处理方法汇总
http://www.aboutyun.com/thread-9237-1-1.html
1、当你面对上千万or亿数据(有重复),统计其中出现次数最多的前N个数据,你会分为哪几种情况?
2、你觉得哪些思路比较好且适用?
3、有哪十种海量数据处理方法?


8种Nosql数据库最佳应用场景&应用领域剖析
http://www.aboutyun.com/thread-9236-1-1.html
1、NoSQL数据库有哪些特性比较出色?
2、8种Nosql数据库各自有哪些不同的应用?



按照本站教程上面写的第一个mapreduce出错了
http://www.aboutyun.com/thread-9235-1-1.html








2014-09-20每日一读
每天进步一点



Cloudera Manager、CDH零基础入门、线路指导
http://www.aboutyun.com/thread-9219-1-1.html
1.什么是cloudera CM 、CDH?
2.CDH、CM有哪些版本?
3.CDH、CM有哪些安装方式?
4.CDH如何开发?

hive 全排序优化
http://www.aboutyun.com/thread-9230-1-1.html
1.全排序的解决方法有哪几种?
2.如何通过修改Partitioner,做到全排序?


OpenStack压力测试(批量创建200个instance)
http://www.aboutyun.com/thread-9234-1-1.html
1、测试openstack,需要准备哪些条件?
2、有哪些重要的几个配置需要修改?
3、批量创建的命令是什么?

SMAQ:海量数据的存储计算和查询模型(译)
http://www.aboutyun.com/thread-9233-1-1.html
1、SMAQ海量数据的存储计算和查询模型,你是如何理解的?
2、使用Hadoop运行一个MapReduce job包括哪几个步骤?
3、小型团队或个人如何实现SMAQ架构处理海量数据?

Puppet使用方法总结
http://www.aboutyun.com/thread-9232-1-1.html
1、你是如何理解puppet设计架构的?
2、puppet如何配置脚本编写?
3、学习Puppet都有哪些参考途径?

Openstack如何修改 并且调试 观察效果
http://www.aboutyun.com/thread-9231-1-1.html
1、Openstack代码如何修改?
2、如何调试并观察效果?
3、编译完源文件,还该如何做?

云计算迷你书上线:设计模式、高可用性、高弹性、运维、监控与自动化
http://www.aboutyun.com/thread-9229-1-1.html
1.如何基于AWS进行高可用设计?
2.如何监控AWS?


Storm环境配置及吞吐量测试调优
http://www.aboutyun.com/thread-9228-1-1.html
1.spouts、bolts并发数如何确定?
2.影响storm吞吐量的因素有哪些?

hive学习笔记
http://www.aboutyun.com/thread-9227-1-1.html
1.如何配置hive的metastore?
2.hive内部表、外部表的区别?
3.如何操作hive的索引?

yum与rpm、apt的区别:rpm的缺陷及yum的优势
http://www.aboutyun.com/thread-9226-1-1.html
1.rpm存在什么问题?
2.yum有什么优势?
3.apt-get与yum有什么相同之处?

CDH(Cloudera)与hadoop(apache)对比
http://www.aboutyun.com/thread-9225-1-1.html
1.hadoop有几个版本?
2.CDH有几种安装方式?
3.CDH在安装认证方面做了什么改变?






2014-09-19每日一读
每天进步一点




[翻译][Trident] Storm Trident 详细介绍
http://www.aboutyun.com/thread-9223-1-1.html
1.Trident对storm提供了什么能力?
2.Trident在如何最大程度的保证执行topogloy性能方面是非常智能的?
3.storm如何保证每个消息都被处理一次?

Redis 它是什么?它用来做什么?它的优势与短板如何?
http://www.aboutyun.com/thread-9223-1-1.html
1.Redis 是什么?
2 Redis用来做什么?
3 Redis的优点?
4 Redis的缺点?


谈云计算中间件理念
http://www.aboutyun.com/thread-9222-1-1.html

云成本分析工具介绍
http://www.aboutyun.com/thread-9221-1-1.html

廉价云存储与虚拟阵列方案在快速崛起
http://www.aboutyun.com/thread-9220-1-1.html

OpenStack Installation Guide for Ubuntu中文翻译版
http://www.aboutyun.com/thread-9218-1-1.html









2014-09-18每日一读
每天进步一点



Spark集群计算的框架介绍【翻译】
http://www.aboutyun.com/thread-9208-1-1.html
1.RDD如果丢失能否重建?
2.mapreduce在迭代作业和交互作业中有什么优势?
3.Spark提供了并行运算编程哪两个主要的架构?
4.在RDD上都可以进行什么操作?

UnitedStack下安装多节点OpenStack
http://www.aboutyun.com/thread-9214-1-1.html
如何搭建一套完整的Openstack?
如何基于Neutron创建虚拟机?
虚拟机如何配置访问公网?
Horizon的功能如何实现迁移?



Openstack学习之WSGI:自己动手写例子
http://www.aboutyun.com/thread-9215-1-1.html
1、什么是WSGI ?
2、如何写一个WSGI 的hello world APP?
3、如何测试程序?



openstack neutron 创建多个外网
http://www.aboutyun.com/thread-9211-1-1.html
1、openstack neutron 如何创建多个外网?
2、如何修改重要的3个配置文件?

horizon 界面修改以及扩展
http://www.aboutyun.com/thread-9210-1-1.html
1、openstack horizon如何定制化开发?
2、openstack horizon一般有哪些好的参考资料?

来自阿里的流处理框架:JStorm比Storm更稳定、性能更好
http://www.aboutyun.com/thread-9205-1-1.html
1.Storm无法满足那些需求?
2.JStorm为什么比Storm更稳定、性能更好?
3.JStorm为性能提升的原因是什么?



flume-kafka-storm日志处理经验
http://www.aboutyun.com/thread-9216-1-1.html

资源:
OpenStack 资源分享
http://www.aboutyun.com/thread-9209-1-1.html

Spark 1.1.0 发布
http://www.aboutyun.com/thread-9206-1-1.html



问答:
Flume+EleasticSearch延时现象严重
http://www.aboutyun.com/thread-9212-1-1.html
win7 eclipse 远程执行一个建表操作 为什么会报下列错误!!!
http://www.aboutyun.com/thread-9207-1-1.html





2014-09-17每日一读
每天进步一点



Hadoop与海量GIS数据的结合
http://www.aboutyun.com/thread-9202-1-1.html
1.阅读本文需要明白什么是空间信息?
2.GIS与hadoop之间的桥梁是什么?

Cloudera Impala官方文档中文翻译
http://www.aboutyun.com/thread-9191-1-1.html
1.Impala有哪些核心优势?
2.Impala能否与Hivemetastore database相集成?
3.Impala由哪些组件构成?
4.Imala查询执行的流程包含哪些步骤?
5.Impala的主要特点是什么?

解析Cloudera Manager内部结构、功能包括配置文件、目录位置等
http://www.aboutyun.com/thread-9189-1-1.html
1.CM的安装目录在什么位置?
2.hadoop配置文件在什么位置?
3.Cloudera manager运行所需要的信息存在什么位置?
4.CM结构和功能是什么?


sqoop导入mysql数据到hive中
http://www.aboutyun.com/thread-9183-1-1.html
1.sqoop 在同步mysql表结构到hive找不到包目录的可能原因是什么?
2.如何查看sqoop同步mysql数据到hive过程?
3.错误就是hive的jar包有缺失,应该有哪些包?

cloudera-scm-server dead but pid file exists及web ui不能访问问题解决
http://www.aboutyun.com/thread-9184-1-1.html
1.cloudera的安装应该注意什么问题?
2.cloudera manager的web界面无法访问了,除了本文讲的,你是否还遇到其它情况?
3.本文cloudera-scm-server dead but pid file exists问题是如何解决的?

基于impala的SQL联邦代理研究与实现汇报
http://www.aboutyun.com/thread-9185-1-1.html
1.你认为Impala是什么?
2.Impala 与 Hive有什么不同之处?
3.Impala运行过程中主要有哪两大进程?
4.impala部署环境是什么?

Cloudera Manager (centos)离线安装详细介绍
http://www.aboutyun.com/thread-9190-1-1.html
1.安装需要做哪些准备?
2.如何安装CM?
3.如何通过CM安装CDH?
4.CM及CDH安装的过程都包含什么?


Cloudera Manager和CDH4.1的安装
http://www.aboutyun.com/thread-9187-1-1.html
1.CM如何安装?
2.如何设置yum的timeout?
3.启动impala时,impala daemon无法启动该如何解决?
扩展:
cm有几种安装方式?

更换ip后,cloudera-scm-agent无法启动解决经验
http://www.aboutyun.com/thread-9188-1-1.html
1.CDH节点ip会有什么问题?
2.CDH遇到问题,常见的解决问题的方式是什么?

OpenStack Cinder代码(H版)create等流程简析
http://www.aboutyun.com/thread-9194-1-1.html
1、你是如何理解OpenStack各个模块的作用?
2、cinder中create snapshot的流程有哪些?
3、cinder中create volume的流程是怎样的?

基于最新RHEL7系统的Packstack自动部署RDO(OpenStack Icehouse)
http://www.aboutyun.com/thread-9195-1-1.html
1、你是如何安装制作本地YUM及安装最新RHEL7-Epel的?
2、怎样设置RDO存储库和应答文件?
3、部署中遇到问题如何解决?

Impala源码分析---1
http://www.aboutyun.com/thread-9197-1-1.html
1、 Impala内部架构由哪些组成,是什么关系?
2、Impalad组件的各个端口代表什么含义?

UnitedStack的开源思考
http://www.aboutyun.com/thread-9204-1-1.html

话题讨论:Storm, Spark, Hadoop三个大数据处理工具的区别和联系
http://www.aboutyun.com/thread-9199-1-1.html

hbase、hive整合:往hive表 insert数据时 map阶段报空指针
http://www.aboutyun.com/thread-9198-1-1.html

问答:
又出问题了 win7+eclipse 远程访问服务器上的hbase 报下面的错
http://www.aboutyun.com/thread-9193-1-1.html

资源推荐:

京东技术开放日第三期
http://www.aboutyun.com/thread-9201-1-1.html

基于openstack的docker开发
http://www.aboutyun.com/thread-9186-1-1.html










2014-09-16每日一读
每天进步一点



flume-ng性能优化与架构设计
http://www.aboutyun.com/thread-9172-1-1.html
1.影响flume吸能的因素都有哪些?
2.哪些参数会影响sink?
3.JAVA内存该如何设计?




cloudera CDH(5)开发方式及CDH eclipse插件编译总结
http://www.aboutyun.com/thread-9159-1-1.html
1.CDH有几种开发方式?
2.如何在CDH源码中,查找eclipse插件源码?

CDH3 Hadoop集群摘除节点
http://www.aboutyun.com/thread-9162-1-1.html
1.摘除节点需要修改哪些配置文件?
2.修改配置文件如何生效?
3.如何保证摘除节点断开NN?
4.include文件的作用是什么?


通过devstack自动部署Openstack icehouse 版本
http://www.aboutyun.com/thread-9168-1-1.html
1、脚本自动化部署原理是什么?
2、重启虚拟机后,登录 Dashboard 时出现错误,如何解决?
3、stack.sh 执行之 pip-1.4.1 安装失败,怎么办?


运维人员的解放----Docker快速部署
http://www.aboutyun.com/thread-9169-1-1.html
1、Docker 应用容器相对于 VM 有哪些优势?
2、如何让 docker 容器的多程序开机自动运行?
3、如何学习Docker的命令?

Flume-ng failover 以及Load balance测试及注意事项
http://www.aboutyun.com/thread-9170-1-1.html
1.flume failover以及load balance同时应用该如何配置?
2.是不是sinkgroups的sink不能共享?
扩展:
什么是Flume-ng failover 以及Load balance?


怎样调试OpenStack
http://www.aboutyun.com/thread-9171-1-1.html
1、如何配置python源和网络地址?
2、DevStack安装和配置,感觉怎样?
3、如何在Eclipse下调试OpenStack?

centos6搭建本地openstack软件源
http://www.aboutyun.com/thread-9173-1-1.html
1、搭建本地openstack软件源,步骤有哪些?
2、创建rdo-release.repo文件的作用是什么?



Ubuntu软件包管理工具apt-get、apt-file介绍
http://www.aboutyun.com/thread-9174-1-1.html
1.Ubuntu/Debian使用什么软件包来管理软件?
2.apt-get工具的作用是什么?
3.apt-get update 的作用是什么?
4.apt-file的作用是什么?

Ubuntu Server apt-get出现'Failed to fetch'问题
http://www.aboutyun.com/thread-9175-1-1.html
1.使用apt-update失败,会出现什么现象?
2.什么情况下 sudo apt-key add -会失败?

什么是数据挖掘【娱乐】
http://www.aboutyun.com/thread-9161-1-1.html


storm添加节点后,ui却还是显示不变,原因是什么
http://www.aboutyun.com/thread-9163-1-1.html


请问镜像传到glance是存在哪个文件夹下的??
http://www.aboutyun.com/thread-9160-1-1.html

使用storm做实时计算是不是必须得使用kafka和flume收集数据然后发送给storm ?
http://www.aboutyun.com/thread-9164-1-1.html

storm里spout,bolt做了ack确认处理,我看ui界面,显示spout里发送失败数非常多
http://www.aboutyun.com/thread-9165-1-1.html


在stormspout的任务开多了会不会影响接收kafka数据呢
http://www.aboutyun.com/thread-9166-1-1.html

大神们给讲讲win7+eclipse+ubuntu 环境下mapreduce?求助
http://www.aboutyun.com/thread-9167-1-1.html


修改hadoop配置文件后,一定得重启集群吗?
http://www.aboutyun.com/thread-9176-1-1.html







2014-09-15每日一读
每天进步一点



OpenStack api使用记录
http://www.aboutyun.com/thread-9158-1-1.html
1、api中怎样使用GET方法的接口?
2、如何使用token id调用你使用的api?
3、获取认证token值的命令是什么?

openstack 制作大于2TB根分区自动扩容的CENTOS镜像
http://www.aboutyun.com/thread-9157-1-1.html
1、怎样的情况下,根分区才能到2TB空间?
2、如何编写执行分区的脚本?

openstack 组件volume,image后端存储使用ceph
http://www.aboutyun.com/thread-9156-1-1.html
1、如何安装和配置 OpenStack Ceph 客户端?
2、配置openstack 使用ceph,需要走哪些流程?
3、如何查看创建的pool ?

OpenStack开发环境搭建
http://www.aboutyun.com/thread-9155-1-1.html
1、OpenStack开发环境搭建,需要准备哪些?
2、如何使用Virtualenv创建虚拟环境?
3、如何理解在虚拟的环境中运行脚本有优势?

使用IntelliJ IDEA 编译开源的机器学习--源码--Oryx
http://www.aboutyun.com/thread-9153-1-1.html
1.什么是Oryx?
2.如何在 IntelliJ IDEA 中编译 Oryx?
3.如何下载Oryx 开源代码?

Windows Phone 云应用开发实践之(二)Windows Live SDK
http://www.aboutyun.com/thread-9151-1-1.html
1.什么是Windows Live SDK?
2.如何实现SkyDrive的云端相册?


Windows Phone云应用开发实践之(三)——OData
http://www.aboutyun.com/thread-9152-1-1.html
1.什么是开放数据协议(OData)?
2.如何实现分页显示OData数据?







2014-09-14每日一读
每天进步一点





国内公有云对比- 功能、性能介绍
http://www.aboutyun.com/thread-9150-1-1.html
1.国内云商各有什么特点?
2.AWS性能测试中为何性能较低?
3.本测试中OS性能、IO性能哪些云平台比较稳定?


使用Linux/ubuntu安装cloudstack
http://www.aboutyun.com/thread-9139-1-1.html
1.即CloudStack默认以什么用户启动?
2.如何添加配置CloudStack官方源?
3.如何配置sudo免密码?
4.如何安装配置CloudStack?

Spark源码系列(七)Spark on yarn具体实现
http://www.aboutyun.com/thread-9141-1-1.html
1、yarn提交作业的流程是怎样的?
2、run方法在ApplicationMaster里面主要干了什么工作?
3、把作业发布到yarn上面去执行,涉及到哪些类?

Spark源码系列(八)Spark Streaming实例分析
http://www.aboutyun.com/thread-9142-1-1.html
1、如何保存接收到的数据?
2、如何处理接收到的数据?
3、调用getOrCompute方法获得RDD的流程有哪些?


hbase学习(一):系统架构图
http://www.aboutyun.com/thread-9143-1-1.html
1、HBase 系统架构的组成部件有哪些?
2、HBase存储格式 有哪几种?
3、如何理解HLog Sequece File的Value是HBase的KeyValue对象?

hbase 学习(二)集群间备份原理
http://www.aboutyun.com/thread-9144-1-1.html
1、master和slave节点架构的整个过程,你是如何理解的?
2、进行备份操作都有哪些要求呢?
3、使用集群间备份的功能需要进行哪些设置?



国内公有云对比: 功能篇之新浪云
http://www.aboutyun.com/thread-9145-1-1.html
1.新浪云都提供什么服务?
2.新浪云有哪些劣势?

国内公有云对比2- 功能篇之百度云
http://www.aboutyun.com/thread-9146-1-1.html

国内公有云对比3:功能篇之腾讯云
http://www.aboutyun.com/thread-9147-1-1.html
1.你对腾讯云了解多少
2.你认为腾讯云会主营什么业务?


国内公有云对比4- 功能篇之阿里云
http://www.aboutyun.com/thread-9148-1-1.html
1.你认为阿里云会往哪个方向发展?
2.阿里云有什么缺陷?
3.你了解的阿里云主要是来做什么的?

国内公有云对比5- 功能篇总结
http://www.aboutyun.com/thread-9149-1-1.html
在IaaS领域你认为那个厂商比较领先?
哪些厂商更擅长PaaS?
你认为国内云商它们各自有什么优势?

storm能否读取文件
http://www.aboutyun.com/thread-9140-1-1.html











2014-09-13每日一读
每天进步一点


使用 cloudera-manager-installer.bin(Parcles)安装失败后卸载cloudera
http://www.aboutyun.com/thread-9135-1-1.html
1.卸载cloudera-manager分几部分?
2.卸载Cloudera Manager Server需要哪些步骤和命令?
3.如何卸载CDH及Clouder Manager Agent?

Cloudera Manager and CDH安装及配置(CentOS)
http://www.aboutyun.com/thread-9134-1-1.html
1.CentOS如何创建本地的yum软件源?
2.Cloudera Manager and CDH安装及配置需要注意哪些问题?
扩展:
3.你认为Cloudera Manager 有几种安装方式?

Redis服务器搭建/配置/及Jedis客户端
http://www.aboutyun.com/thread-9133-1-1.html
1、Redis的常用配置项有哪些?
2、如何理解redis采用特殊的哈希算法来处理最大的元素超过某一临界值?
3、怎样使用Jedis客户端来操作Redis?

Spark SQL编程指南
http://www.aboutyun.com/thread-9132-1-1.html
1、什么是JavaSQLContext类?
2、Spark SQL如何推断一个JSON数据集的schema?
3、如何理解Spark SQL支持表的类型JavaBeans的RDD?


Spark编程指南
http://www.aboutyun.com/thread-9130-1-1.html
1、如何理解Spark应用程序的构造?
2、如何接入和初始化Spark?
3、如何自己添加新的支持类型累加器?

HBase集群监控工具:Ella
http://www.aboutyun.com/thread-9128-1-1.html
1、HBase集群监控工具Ella,使用框架有哪些?
2、如何使用监控工具Ella?

Cloudera Manager 4.6 安装详解
http://www.aboutyun.com/thread-9127-1-1.html
1.你了解cloudera有几种安装方式?
2.cloudera Manager安装适合那些操作系统?
3.Cloudera Manager的客户端和服务端的作用是什么?

扩展:
4.Cloudera Manager Server对内存是否有要求?
5.Cloudera Manager安装的思路是什么?



hadoop2.5需要什么版本的zookeeper、及hbase
http://www.aboutyun.com/thread-9126-1-1.html









2014-09-12每日一读
每天进步一点



Scala介绍及快速了解Scala技术栈
http://www.aboutyun.com/thread-9122-1-1.html
1.你认为Scala与Java有哪些不同?
2.如何使用Scala实现wordcount?
3.如何学习Scala技术栈?

安装cloudera CDH更换 JDK版本:包括openjdk sunjdk
http://www.aboutyun.com/thread-9124-1-1.html


微博关系服务与Redis的故事
http://www.aboutyun.com/thread-9121-1-1.html
1、新浪微博业务存在哪些查询?
2、新浪微博是如何引入和改进 Redis的?
3、微博关系服务当前的业务场景,有哪几类?

Memcache,Redis,MongoDB(数据缓存系统)方案对比与分析
http://www.aboutyun.com/thread-9120-1-1.html
1、用于缓存数据场景的数据库有哪些?
2、如何理解分布式可拓展性?
3、Memcache,Redis需要慎重考虑的部分有哪些?

Zookeeper-3.4.5-cdh5.0.1 单机模式、副本模式安装指导
http://www.aboutyun.com/thread-9119-1-1.html
1.Zookeeper-3.4.5-cdh5.0.1单机安装包含哪些步骤?
2.Zookeeper-3.4.5-cdh5.0.1副本安装与单机安装的区别是什么?
3.zoo.cfg包含哪些配置?

Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建(NameNode,ResourceManager HA)
http://www.aboutyun.com/thread-9115-1-1.html
1.YARN的基础架构是什么?
2.哪一进程防止Yarn早就web攻击?
3.Zookeeper主进程是哪个?
4.如何下载cdh包?

高效搭建Spark完全分布式集群
http://www.aboutyun.com/thread-9117-1-1.html
1、如何高效安装Spark分布式集群?
2、如何安装Hadoop集群和scala?

使用Pig对手机上网日志进行分析
http://www.aboutyun.com/thread-9116-1-1.html
1、如何使用pig?
2、如何使用Pig对手机上网日志进行分析?

Cloudera Manager API介绍(about云)
http://www.aboutyun.com/thread-9114-1-1.html
1.如何通过显示的名称获取服务的属性?
2.如果获取主机属性?
3.如何通过The Cloudera Manager API获取用户角色列表?

Cloudera CDH 、Impala本地通过Parcel安装配置详解及什么是Parcel
http://www.aboutyun.com/thread-9111-1-1.html
1.什么是Parcel?
2.Parcel本地源与Package本地源的区别是什么?

ubuntu 12.04 安装 Cloudera Manager5及CDH5(Mysql)【添加yum源方式安装集群】
http://www.aboutyun.com/thread-9107-1-1.html
1.如何不使用cloudera-manager-installer.bin来安装Cloudera Manager?
2.如何添加源?
3.添加源的作用是什么?

安装cloudera遇到mysql遇到dpkg: error processing mysql-server (--configure)
http://www.aboutyun.com/thread-9110-1-1.html

安装cloudera 中curl -s url | sudo apt-key add -的含义
http://www.aboutyun.com/thread-9109-1-1.html
1.curl -s的含义是什么?
2. sudo apt-key add -的含义是什么?


spark、storm经典贴、资源帖汇总
http://www.aboutyun.com/thread-9123-1-1.html







2014-09-11每日一读
每天进步一点




ZooKeeper介绍、伪分布式集群安装及使用
http://www.aboutyun.com/thread-9097-1-1.html
1.什么是zookeeper
2.zookeeper有几种安装方式?
3.zookeeper伪分布如何配置myid?
4.zookeeper包含哪些常用操作命令?

详细了解HBase zookeeper和-Root-/.MET表
http://www.aboutyun.com/thread-9100-1-1.html
1.如何查看HBase的安装等信息?
2.如何查看ROOT-表?
3.如何查看.META.表?


hbase+zookeeper集群搭建
http://www.aboutyun.com/thread-9101-1-1.html
1.hbase.rootdir和namenode里面的hdfs的主机名和端口是否一致?
2.regionservers文件的作用是什么?
3.zookeeper该如何单独部署?

原创:基于Ubuntu上OpenStack I版详细安装资源分享
http://www.aboutyun.com/thread-9102-1-1.html

如何编写YARN应用程序
http://www.aboutyun.com/thread-9103-1-1.html
1、如何让新的应用程序,或者新的计算框架,运行于YARN上?
2、编写ApplicationMaster有哪些步骤?
3、为什么编写兼具高容错性和高性能的ApplicationMaster是非常不容易的?

Apache Twill—YARN上应用程序开发包
http://www.aboutyun.com/thread-9104-1-1.html
1、如何相对简单的开发一个YARN应用程序?
2、如何使用Apache Twill开发一个运行在YARN上的程序?
3、will有哪些大量通用模块和特性?

VMware接入Openstack方案分析
http://www.aboutyun.com/thread-9105-1-1.html
1、Nova项目中目前有两个VMware相关的Driver有哪些?
2、ESXDriver与其他Hypervisor的接入方式有哪些差别?
3、创建虚拟机时不用下载镜像的更加理想的方式是什么?

整体认识OpenTSDB
http://www.aboutyun.com/thread-9106-1-1.html
1.什么是OpenTSDB
2.OpenTSDB是用什么语言编写和构建的?
3.如何安装OpenTSDB?


问答:
win7+eclipse+ubuntu 向hadoop 2.5上传文件报什么数组异常
http://www.aboutyun.com/thread-9108-1-1.html







2014-09-10每日一读
每天进步一点




Cloudera Manager Server及Cloudera Manager Agents常用命令整理(about云)
http://www.aboutyun.com/thread-9096-1-1.html
1.使用什么命令可以开启、停止、重启Cloudera Manager Server
2.如何强制重启Agents
3.什么情况下适合强制重启Agents
4.如何查看Agents状态

Cloudera Manager5及CDH5安装指导(终极安装)
http://www.aboutyun.com/thread-9075-1-1.html
1.Cloudera Manager5安装需要哪些环境要求?
2.哪些Linux系统上,可以安装Cloudera Manager5?
3.在安装cdh的过程中,该如何选择版本?

libvirt/qemu特性之numa
http://www.aboutyun.com/thread-9092-1-1.html
1、如何查看主机node情况?
2、怎样设置guest numa topology?
3、VCPU如何绑定物理核?

Hadoop MapReduce纵表转横表 与 横表转纵表
http://www.aboutyun.com/thread-9091-1-1.html
1、什么是数据库中的横表和纵表?
2、横表如何转为纵表?

libvirt/qemu特性之快照
http://www.aboutyun.com/thread-9090-1-1.html
1、虚拟机快照有哪些分类?
2、如何使用内置快照qemu-img?
3、虚拟机快照实现有哪些参考?

适合国内网速的CM5、CDH5安装(CDH5半自动离线安装)
http://www.aboutyun.com/thread-9089-1-1.html
1.如何配置yum?
2.运行./cloudera-manager-installer.bin之后,yum会产生什么文件?
3.Cloudera Manager安装CDH有哪两种?

Openstack快照现状分析
http://www.aboutyun.com/thread-9088-1-1.html
1、虚拟机快照制作有哪些流程?
2、当前快照都有哪些导入、导出方法?
3、如何理解虚拟机快照当前的BP?

Cloudera Manager5安装总结遇到问题及解决办法
http://www.aboutyun.com/thread-9087-1-1.html
1.Cloudera Manager在线安装你认为有什么优点和缺点?
2.Cloudera Manager安装过程中遇到,你认为该如何解决?
3.在线安装addr.arpa domain name pointer localhost出现这个问题该如何解决?

Cloudera Manager 5 和 CDH5 本地(离线)安装指南
http://www.aboutyun.com/thread-9086-1-1.html
1.Cloudera Manager5、CDH5安装需要哪些准备?
2.下载Cloudera Manager5后,如何配置离线安装?
3.如何下载CDH5离线包及如何安装CDH5?

eBay Cloud基于MongoDB的CMDB经验分享
http://www.aboutyun.com/thread-9085-1-1.html


微软宣布Microsoft Azure支持、Docker、Kubernetes
http://www.aboutyun.com/thread-9084-1-1.html
1.什么是Kubernetes?
2.Kubernetes有什么特性?
3.能否快速创建容器,你认为包含哪些因素?

豌豆荚质量总监分享:从自建机房到云计算的演进之路
http://www.aboutyun.com/thread-9083-1-1.html

Rudder:简化集群中容器的网络配置
http://www.aboutyun.com/thread-9082-1-1.html
1.Rudder的作用是什么?
2.Rudder与Docker的关系是什么?

ssh root用户ssh localhost报错
http://www.aboutyun.com/thread-9081-1-1.html

storm数据接入层,大家都用的什么方式?消息队列的话,哪些队列比较好用?
http://www.aboutyun.com/thread-9080-1-1.html



hadoop 2.5.0 + hbase 0.98.5,提示ERROR HBaseClient: The znode
http://www.aboutyun.com/thread-9095-1-1.html

flume按日期分目录存储和自定义日志的文件名
http://www.aboutyun.com/thread-9093-1-1.html






2014-09-09每日一读
每天进步一点



OpenStack运维实战
http://www.aboutyun.com/thread-9066-1-1.html
1.私有云平台分为哪三大类服务?
2.面对keystone访问压力,网易是如何解决的?
3.Nova 有哪些关键配置?



云环境下的容灾
http://www.aboutyun.com/thread-9071-1-1.html
1、如何理解云环境下的容灾?
2、容灾的分类有哪些?
2、Openstack容灾的整体架构是什么?

云计算商如何绝“艳照门”事件重演
http://www.aboutyun.com/thread-9069-1-1.html


使用Zookeeper与Thrift构建Ha的LogServer
http://www.aboutyun.com/thread-9068-1-1.html
1.你对zookeeper了解多少?
2.Curator主要解决了哪三类问题?
3.Curator的作用是什么?

pig2个人介绍
http://www.aboutyun.com/thread-9077-1-1.html

《实习--我的心里话》附录:我的成长
http://www.aboutyun.com/thread-9076-1-1.html

Openstack Cinder安装向导:在Unitestack的UOS下测试
http://www.aboutyun.com/thread-9067-1-1.html
1.Cinder安装需要哪些步骤?
2.endpoint有哪些参数,你认为它的作用是什么?
3.如何检测cinder服务是否正常?
扩展
4.你认为配置文件的作用是什么?

openstack周期性任务浅析
http://www.aboutyun.com/thread-9074-1-1.html
1、OpenStack中如何添加一个周期性任务?
2、周期性任务如何被管理?
3、周期性任务的用途有哪些?

devstack安装使用openstack常见问题与解决办法
http://www.aboutyun.com/thread-9073-1-1.html
1、 devstack安openstack都有哪些常见问题?
2、如何解决这些问题?


openstack中的延迟删除、软删除、删除保护
http://www.aboutyun.com/thread-9072-1-1.html
1、怎么对glance镜像进行延迟删除?
2、如何使用nova虚拟机的软删除?
3、如何查看数据库信息?


云计算未来支撑智能家居发展是一个趋势
http://www.aboutyun.com/thread-9065-1-1.html
1.什么是智能家居?
2.你认为只能家居如何与云计算相结合?
3.理想的云计算有什么优势?






2014-09-08每日一读
每天进步一点



中秋佳节,祝所有努力奋斗的人,有所获、有所成


理解Spark的核心RDD
http://www.aboutyun.com/thread-9060-1-1.html
1.RDD的本质是什么?
2.它的作用是什么?
3.RDD提供了哪方面的属性?
4.RDD的transformation与action分别是什么操作?

Hadoop任务即将可以运行在Docker容器中
http://www.aboutyun.com/thread-9059-1-1.html

从IaaS到PaaS的三种实现方法介绍
http://www.aboutyun.com/thread-9058-1-1.html
1.PaaS与IaaS相比有什么好处?
2.你认为从IaaS到PaaS有几种方法?
3.使用第三方工具开发PaaS,可能会遇到什么问题?

Cloudera Manager 5新增功能和改变
http://www.aboutyun.com/thread-9064-1-1.html
1.Cloudera Manager你所了解的用户角色(User Roles)有几种?
2.Spark Service 增加了什么服务?
3.Impala做了哪些改变?
4.Cloudera Manager 5的默认调度器是哪个?
5.Cloudera Manager5 嵌入式数据库包名字对于Cloudera Manager以前版本发了什么变化?
6.Cloudera Manager5中Solr 最小的heap size是多少MB?



MongoDB Java 入门手册
http://www.aboutyun.com/thread-9064-1-1.html
1、Java中如何与一个 MongoDB建立连接?
2、在 Java driver,如何用 MongoClient 做安全认证?
3、如何用 MongoClient 实例删除一个数据库?


MapReduce 异常 LongWritable cannot be cast to Text
http://www.aboutyun.com/thread-9063-1-1.html
1、如何用MapReduce程序统计分类情况?
2、为什么需要明确声明输入的格式?






2014-09-07每日一读
每天进步一点


Hadoop-2.2.0中文文档:MapReduce 配置一个单节点集群大全(详细版)
http://www.aboutyun.com/thread-9056-1-1.html
1、如何获取Mapreduce 包?
2、MapReduce 如何配置一个单节点集群?


Hadoop-2.2.0中文文档: Shell命令
http://www.aboutyun.com/thread-9054-1-1.html
1、对于不同的文件系统,scheme各是什么?
2、如何学习Hadoop的shell命令?

Hadoop-2.2.0中文文档:Hadoop 下一代 MapReduce (YARN);Web应用代理
http://www.aboutyun.com/thread-9053-1-1.html
1、如何理解ResourceManager ?
2、设置 Web应用代理的原因是什么?
3、如何使得访问AM的web更加安全?

明星艳照门事件给云存储用户敲响警钟及带给我们的思考
http://www.aboutyun.com/thread-9049-1-1.html

JavaZone惊悚大片3利用程序员语言对话的战争:Java打劫
http://www.aboutyun.com/thread-9052-1-1.html

JavaZone惊悚大片2利用程序员语言对话的战争:电影《Java风云》预告
http://www.aboutyun.com/thread-9051-1-1.html

JavaZone惊悚大片1:利用程序员语言对话的战争
http://www.aboutyun.com/thread-9050-1-1.html





2014-09-06每日一读
每天进步一点


Hadoop-2.2.0中文文档:MapReduce--写YARN应用
http://www.aboutyun.com/thread-9046-1-1.html
1、MapReduce中写YARN应用,如何理解概念和流?
2、写一个简单的 Yarn 应用,需要什么?
3、如何发布我的应用 jar包到 YARN 集群上的所有需要它的节点上?


Hadoop-2.2.0中文文档:MapReduce 下一代-容量调度器
http://www.aboutyun.com/thread-9045-1-1.html
1、如何理解CapacityScheduler 架构?
2、如何改变队列属性和添加新队列?
3、为什么队列不能被删除,只支持添加新队列?


Hadoop-2.2.0中文文档:MapReduce 下一代 --公平调度器
http://www.aboutyun.com/thread-9044-1-1.html
1、如何让YARN在一个大集群中公平地共享资源?
2、可插入式的层级队列的内涵是什么?
3、分配文件的格式必须是什么。这个格式包含哪几种元素?

Windows Phone 云应用开发实践之(一)Windows Azure
http://www.aboutyun.com/thread-9040-1-1.html
1.你认为Windows Azure是一个什么平台?
2.如何构建使用Windows Azure中云服务的手机应用程序的资源?
3.Windows Phone服务和代理由谁来提供?
4.如何创建Windows Phone云应用?



使用Windows Azure的VM安装和配置CDH搭建Hadoop集群
http://www.aboutyun.com/thread-9039-1-1.html
1.使用Windows Azure搭建hadoop集群是否安全?
2.如何在 Windows Azure 中创建虚拟网络?
3.如何从Windows Azure映像库中创建 Linux 虚拟机?

基于Docker的十大开发工具介绍
http://www.aboutyun.com/thread-9036-1-1.html
1.你是否了解PaaS平台,什么技术可以搭建pass?
2.CoreOS是个什么系统,它与其它Linux有什么不同?
3.你对Docker是怎么认识的?


分布式消息系统:Kafka介绍
http://www.aboutyun.com/thread-9038-1-1.html
1.你认为kafka的用途是什么?
2.Kafka产生的背景是什么?
3. 你认为Kafka有哪些特点?


BookKeeper设计介绍及其在Hadoop2.0 Namenode HA方案中的使用分析
http://www.aboutyun.com/thread-9035-1-1.html
1.什么是BookKeeper背景?
2.BookKeeper in HDFS如何实现对EditLog的读出和写回?
3.写日志都包含哪些流程?

Hadoop-2.2.0中文文档: 从Hadoop 1.x 迁移至 Hadoop 2.x
http://www.aboutyun.com/thread-9043-1-1.html
1、如何从 Hadoop 1.x 迁移应用到Hadoop 2.x ?
2、什么是Binary 兼容性?
3、为什么在集群中所有节点的classpath中应该删除 hadoop-mapreduce-examples-2.x.x.jar?

CDH5如何回滚集群静态服务池记录
http://www.aboutyun.com/thread-9042-1-1.html

问答:
怎么分为hbase0.98.5-hadoop1-bin和hbase0.98.5-hadoop2-bin
http://www.aboutyun.com/thread-9048-1-1.html

master服务器异常关机后,hbase的region服务出现错误
http://www.aboutyun.com/thread-9037-1-1.html

Hbase之AccessDeniedException: Insufficient permissions for user 'Administrator'
http://www.aboutyun.com/thread-9041-1-1.html

Flume-ng如何实现监控一个文件变化的目录?
http://www.aboutyun.com/thread-9047-1-1.html






2014-09-05每日一读
每天进步一点


ZooKeeper示例 分布式锁思路及示例代码
http://www.aboutyun.com/thread-9034-1-1.html
1.zookeeper实现分布式锁的作用是什么?
2.ZooKeeper分布式锁的思路是什么?
3.ZooKeeper锁不安全,该如何解决?
4.你是否有实现ZooKeeper锁的思路?

Hadoop-2.2.0中文文档—— MapReduce 下一代 - Encrypted Shuffle
http://www.aboutyun.com/thread-9032-1-1.html
1、在HTTP 和 HTTPS 之间绑定 shuffle 的Hadoop 配置流程是什么?
2、ClientCertificates 客户端证书的作用是什么?
3、如何重载Truststores?

Hadoop-2.2.0中文文档:Common - CLI MiniCluster;MapReduce下一代技术
http://www.aboutyun.com/thread-9030-1-1.html
1、如何启动或关闭一个单一节点的Hadoop集群?
2、如何安装Hadoop Tarball?
3、怎样实现一个自定义的 Shuffle 和 Sort?

Hadoop-2.2.0中文文档—— Common - Native Libraries Guide
http://www.aboutyun.com/thread-9028-1-1.html
1、怎样认识hadoop native库?
2、如何在Hadoop中使用hadoop native库?
3、native hadoop 库支持的平台和组件有哪些?

Hadoop-2.2.0中文文档—— Common - 超级用户模拟别的用户
http://www.aboutyun.com/thread-9026-1-1.html
1、如何在安全的方式下以另一用户的名义提交作业或访问hdfs?
2、如何为joe创建一个代理用户 ugi 对象?
3、超级用户添加它自己的token到代理用户,为什么会出错?


hadoop、大数据面试都会问那些问题
http://www.aboutyun.com/thread-9027-1-1.html


问答:
hive外连hbase报错
http://www.aboutyun.com/thread-9031-1-1.html

hadoop 2.2.0 通过java api 操作hdfs 报错,求大神指导
http://www.aboutyun.com/thread-9029-1-1.html


资源:
开源桌面云资料分享
http://www.aboutyun.com/thread-9033-1-1.html





2014-09-04每日一读
每天进步一点



Storm【配置项】 - 详细说明
http://www.aboutyun.com/thread-9015-1-1.html
1.心跳超时时间,超时后nimbus会认为task死掉并重分配给另一个地址,可以通过哪个配置项配置?
2.如何配置storm使用的本地文件系统目录?
3.Storm集群运行模式该如何配置?
4.Storm UI的服务端口如何修改?
5.topology.debug如果设置成true,Storm会怎么做?

令人深刻:外交部发言人发言语料抓取及简单分析
http://www.aboutyun.com/thread-9013-1-1.html
1、在生活中,用哪些思想找点乐子也能深入学习?
2、如何编写使用Jsoup进行抓取信息?

基于Zookeeper的分步式队列系统集成案例
http://www.aboutyun.com/thread-9004-1-1.html
1.Zookeeper在hadoop家族中作用是什么?
2.Zookeeper如何起到分布式中间件的作用?
3.计算某月的利润,你认为hadoop基于Zookeeper的程序该如何设计?



Hadoop-2.2.0中文文档—— Common - 服务层认证
http://www.aboutyun.com/thread-9012-1-1.html
1、如何理解Service Level Authorization认证机制?
2、如何只允许特定用户和mapreduce 组中的用户提交作业到 MapReduce 集群?
3、Hadoop 服务和配置属性有哪些?

Hadoop-2.2.0中文文档——Common-Hadoop HTTP web控制台认证
http://www.aboutyun.com/thread-9011-1-1.html
1、如何配置Hadoop HTTP web控制台?
2、怎样实现一个插件支持动态认证机制?

基于ZooKeeper的分布式Session实现
http://www.aboutyun.com/thread-9010-1-1.html
1、ZooKeeper本质上是什么,有哪些特性?
2、为什么要使用ZooKeeper?
3、基于ZooKeeper的分布式Session如何实现?

卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译】
http://www.aboutyun.com/thread-8992-1-1.html
1.不同的安装方式,卸载方法存在什么区别?
2.不同的操作系统,卸载 Cloudera Manager Server and 数据库有什么区别?

ClouderaManager以及CHD5.1.0集群部署安装
http://www.aboutyun.com/thread-9006-1-1.html
1.安装ClouderaManager hostname配置该注意什么地方?
2.如何添加ClouderaManager 源?
3.如何查看ClouderaManager是否安装成功?
4.如何访问ClouderaManager,进行CM的配置?

问答:
hadoop 2.5.0 + hbase 0.98.4整合遇到问题
http://www.aboutyun.com/thread-9016-1-1.html

为什么我的datanode节点,无缘无故nodemanager进程不见了
http://www.aboutyun.com/thread-9014-1-1.html

求hbase 源码包
http://www.aboutyun.com/thread-9007-1-1.html





2014-09-03每日一读
每天进步一点


ssh-keygen参数说明
http://www.aboutyun.com/thread-8994-1-1.html
1.ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa的含义是什么?
2. -t的作用是什么?
3.-f的作用是什么?


该如何建设公有云私有云,需要考虑哪些问题,该选择什么技术?
http://www.aboutyun.com/thread-8995-1-1.html
1.云计算能够解决什么问题?
2.公有云面临哪些问题?
3.要建设云,你认为需要解决什么问题?
4.为什么选择openstack,建设公有云?



基于OpenStack的虚拟机资源管理系统设计策略
http://www.aboutyun.com/thread-8996-1-1.html
虚拟机生成策略自动化有什么好处?
你认为VMMS 的设计哲学是什么呢?

十道大数据的题与十个海量数据处理的方法
http://www.aboutyun.com/thread-8997-1-1.html
1、海量数据处理的常用方法有哪些?
2、大数据的问题主要有哪些?
3、双层桶划分的思想是什么?


Openstack配置文件管理的变迁之路
http://www.aboutyun.com/thread-8998-1-1.html
1、如何管理一个Openstack集群?
2、修改配置文件有哪些常用思想?
3、使用什么方案可以很好地驾驭Openstack?

资源:
OpenStack-Icehouse版 多节点部署资源
http://www.aboutyun.com/thread-8999-1-1.html

推荐:
某个Bolt操作的资源总是超时,把strom拖死
http://www.aboutyun.com/thread-9001-1-1.html


storm ui中topology的界面只有topology stats没有spout与bolt的stats?
http://www.aboutyun.com/thread-9000-1-1.html







2014-09-02每日一读
每天进步一点




整体认识flume:Flume介绍、分布式安装、常见问题及解决方案
http://www.aboutyun.com/thread-8984-1-1.html
1.什么是flume?
2.flume包含哪些组件?
3.Flume在读取utf-8格式的文件时会出现解析不了时间戳,该如何解决?




Flume参考文档汇总:配置文件、command shell、Source、Sinks配置项、属性说明
http://www.aboutyun.com/thread-8985-1-1.html
agent日志路径如何配置?
flume.collector.port的作用是什么?
flume如何异步执行命令?
collectorSink( "fsdir","fsfileprefix",rollmillis)含义是什么?

openstack遇到问题怎么办
http://www.aboutyun.com/thread-8986-1-1.html
1.你遇到问题是如何解决的?
2.你认为该如何提高自己解决问题能力?
3.在学习的时候,为何总是遇到各种各样的问题?该如何避免遇到奇葩问题?

openstack 命令行管理十:日志管理、instance novnc 访问管理 命令总结
http://www.aboutyun.com/thread-8988-1-1.html
1、如何查看instance 终端日志?
2、如何查询实例访问?

HBase中的备份和故障恢复方法
http://www.aboutyun.com/thread-8989-1-1.html
1、HBase数据备份机制和大量数据的故障恢复/容灾机制涉及哪些?
2、精心设计的BDR计划如何与你的业务需求结合起来?
3、如何对你的BDR策略进行大规模测试?

如何成为云计算大数据Spark高手
http://www.aboutyun.com/thread-8990-1-1.html
1.你认为该如何学习spark?
2.你认为学习spark都需要掌握哪些内容?

ambari hadoop统一部署
http://www.aboutyun.com/thread-8983-1-1.html
1.安装ambari需要哪些步骤?
2.ambari对hadoop做了什么?

Using Supervisor with Docker
http://www.aboutyun.com/thread-8982-1-1.html
如何创建Dockerfile?
用什么命令Installing Supervisor?   




问答:
各位问下Scala能用什么监控?
http://www.aboutyun.com/thread-8993-1-1.html

cloudera-manager-installer.bin : 怎么安装CDH
http://www.aboutyun.com/thread-8991-1-1.html

有木有获取集群中datanode的统计信息的接口
http://www.aboutyun.com/thread-8987-1-1.html

HIVE中show tables报错
http://www.aboutyun.com/thread-8981-1-1.html

Nutch 2.2.1 安装
http://www.aboutyun.com/thread-8980-1-1.html





2014-09-01每日一读
每天进步一点



VMware携手Docker:强强合作
http://www.aboutyun.com/thread-8967-1-1.html
1.你认为Docker与虚拟机之间有什么关系?
2.Docker有哪些支持者?

docker 实战一:docker 安装基础镜像
http://www.aboutyun.com/thread-8968-1-1.html
如何从一个文件系统创建base镜像?
如何更改软件源、安装supervisor服务?
docker有哪些操作?


局域网部署docker--如何创建自己的docker私有仓库
http://www.aboutyun.com/thread-8970-1-1.html
1.你认为docker是什么?
2.1.从文件系统创建一个image镜像都有什么方法?
3.如何创建私有仓库?
4.如何对私有仓库进行push及pull操作?


docker 实战二:部署tomcat\weblogic集群
http://www.aboutyun.com/thread-8971-1-1.html
1.通过什么命令可以挂载本地home目录到虚拟机的目录?
2.docker commit 的作用是什么?
3.使用常规的administrator +node的方式部署有什么优点和缺点?



docker 实战三---多台物理主机的联网,容器桥接到物理网络
http://www.aboutyun.com/thread-8972-1-1.html
1.docker默认桥接卡是什么?
2.如何创建网桥?
3.把容器暴露到物理网络上了会有什么问题?


ubuntu centos 安装docker
http://www.aboutyun.com/thread-8974-1-1.html
1.ubuntu14.04安装docker的步骤是什么?
2.ubuntu12.04如何安装docker?
3.centos6\7系列安装docker包含哪些步骤?

OpenStack企业应用之路
http://www.aboutyun.com/thread-8975-1-1.html
1.通过下文,你认为公有云与私有云的区别是什么?
2.你认为openstack是一个产品吗?
3.openstack为何成功?
4.Nova-Volume与Cinder的关系是什么?

openstack 命令行管理七:外部网络;路由管理 命令总结
http://www.aboutyun.com/thread-8973-1-1.html
1、如何创建子网和公网?
2、如何使用路由管理的帮助命令?
3、怎样移除路由的默认网关?


openstack 命令行管理八:浮动 IP 管理;网络测试 命令总结
http://www.aboutyun.com/thread-8976-1-1.html
1、如何使用浮动 IP 管理的帮助命令?
2、如何移除浮动 IP?
3、如何利用网络命名空间进行操作?



openstack 命令行管理九:宿主主机管理;instance管理 命令总结
http://www.aboutyun.com/thread-8977-1-1.html
1、如何显示某个物理主机详细信息?
2、如何使用 instance管理的帮助命令?
3、如何列出 secgroup和启动实例?

调查显示:云计算项目之首OpenStack和Docke
http://www.aboutyun.com/thread-8966-1-1.html

资源推荐:
大数据云计算20文档、资料、手册下载
http://www.aboutyun.com/thread-8979-1-1.html

华为云计算解决方案
http://www.aboutyun.com/thread-8978-1-1.html








已有(13)人评论

跳转到指定楼层
yuanjinjun87 发表于 2014-8-19 10:30:07
感谢楼主的分享
回复

使用道具 举报

xiqiang_chen 发表于 2014-8-20 14:38:12
大爱about云~~
回复

使用道具 举报

anyhuayong 发表于 2014-8-30 19:08:18
大爱about云~~,不错
回复

使用道具 举报

GreenArrow 发表于 2014-8-31 21:13:43
大爱about云~~,不错
回复

使用道具 举报

anyhuayong 发表于 2014-9-1 08:26:44
大爱about云~~
回复

使用道具 举报

linhai1023 发表于 2014-9-10 13:49:02
哈哈,直接就顶了
回复

使用道具 举报

向上吧 发表于 2014-9-28 08:34:38
回复

使用道具 举报

韩克拉玛寒 发表于 2014-10-4 09:14:01
楼主很细心,总结的神的人心。谢谢啦
回复

使用道具 举报

271592448 发表于 2014-10-8 09:49:22
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条