Spark1.4中DataFrame功能加强,新增科学和数学函数 2016-03-27

　社区在 Spark  1.3中开始引入了DataFrames，使得Apache  Spark 更加容易被使用。受R和 Python 中的data frames激发，Spark中的DataFrames提 ...

(1441)次阅读|(1)个评论

cdh4.2 java.io.IOException: Timed out waiting 20000ms for a quorum of nodes to 2015-10-14

2015-10-11 10:38:48,213 FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: flush failed for required journal  (JournalAndStream(mgr ...

(2035)次阅读|(0)个评论

ceph-deploy部署osd故障 2015-09-25

centos6.4 内核版本 linux-2.6.32 在deploy节点部署osd并激活，报错信息如下： # ceph-deploy osd prepare ceph02:/tmp/osd0 ceph03:/tmp/osd1 f ...

(2021)次阅读|(0)个评论

Hadoop mapreduce自定义分区HashPartitioner 2015-07-01

    在上一篇文章我写了个简单的WordCount程序，也大致了解了下关于mapreduce运行原来，其中说到还可以自定义分区、排序、分组这些， ...

(2244)次阅读|(0)个评论

Storm多并发下的pv计算 2015-04-27

多线程下，不能进行简单的pv累加了，两种解决思路： (1)使用shuffle grouping，每个excutor计算的pv*excutor个数, 一个Executer默认一个task，如果设置Task数 ...

(1068)次阅读|(0)个评论

查看更多