pig里面没有if：不能判断一个条件后决定一个执行步骤 2015-05-09

pig是处理流 的工具，所以数据集是流对象，处理步骤也是一样的。     Pig中存在按条件处理流对象的方式有 1)filter X= FILTER A BY (f1 == 8) ...

(1457)次阅读|(0)个评论

linux系统中 屏蔽storm ui的kill功能的两种方法 2015-04-16

storm的topology被人kill掉了却找不到是谁做的，该怎么办呢？storm的ui有kill topology的功能，但是没有权限验证，这样就导致知道ui地址的任何人都可以kill掉top ...

(1150)次阅读|(0)个评论

python学习 demo1:一个简单的爬虫 2014-09-01

#! /usr/bin/env python2.7 #coding=utf-8 import re import urllib2 def baiduspider(pages,keys):     for ls in range(page ...

(3445)次阅读|(0)个评论

hive小文件合并思路 2014-08-29

对于hdfs来说，系统的压力主要集中在namenode   如果在整个hadoop集群中存在大量的小文件，会消耗namenode的大量内存（大概146B一个元数据） 另一方面， ...

(3749)次阅读|(0)个评论

查看更多