分享

滑动窗口在storm中的实现

nettman 发表于 2014-6-9 12:42:23 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 4 16525
问题导读:
1.滑动的触发由谁来完成?
2.你认为滑动窗口与storm该如何结合?
3.滑动窗口与storm结合是如何实现的?


这里需要对storm有所了解,可以参考总体认识storm包括概念,场景,组成,明白storm之后,我们继续下面内容。



这里首先需要明白一个场景,那就是这个滑动窗口是什么窗口,about云首页位置,如下图所示,这个便是滑动窗口的一个例子,但是本文讲的不是图片的滑动,而是数据页面的滑动,明白了这个问题,我们继续向下看。

huadong.jpg


滑动窗口在监控和统计应用的场景比较广泛,比如每隔一段时间(10s)统计最近30s的请求量或者异常次数,根据请求或者异常次数采取相应措施;这里说一下滑动窗口在storm中实现的原理。参见下图:

20140104220659578.jpg



窗口大小为30s,每10s就统计一次,那么窗口一共有3个slot,可以对窗口建立长度为3的数组;在storm的blot中在10s内通过execute(tuple)功能不停的把接收的tuple进行count个数(假如内置变量为tuple_count),每10s会自动触发滑动窗口的移动工作(Array[slot3]=》Array[slot2],Array[slot2]=》Array[slot1]),并存储当前tuple_count值到Array[slot3] ,随之可以进行统计窗口的数据了。

那么如何每10s进行自动触发,storm有一个TickTuple可以满足这个要求,
"__system" component会定时往task发送 "__tick" stream的tuple
发送频率由TOPOLOGY_TICK_TUPLE_FREQ_SECS来配置, 可以在default.ymal里面配置
也可以在代码里面通过getComponentConfiguration()来进行配置,

  1. public Map<String, Object> getComponentConfiguration() {
  2. Map<String, Object> conf = new HashMap<String, Object>();
  3. conf.put(Config.TOPOLOGY_TICK_TUPLE_FREQ_SECS, emitFrequencyInSeconds);
  4. return conf;
复制代码


配置完成后, storm就会定期的往task发送ticktuple
只需要通过isTickTuple来判断是否为tickTuple, 就可以完成定时触发的功能
  1. public static boolean isTickTuple(Tuple tuple) {
  2. return tuple.getSourceComponent().equals(Constants.SYSTEM_COMPONENT_ID) \\ SYSTEM_COMPONENT_ID == "__system"
  3. && tuple.getSourceStreamId().equals(Constants.SYSTEM_TICK_STREAM_ID); \\ SYSTEM_TICK_STREAM_ID == "__tick"
  4. }
复制代码







加微信w3aboutyun,可拉入技术爱好者群

已有(4)人评论

跳转到指定楼层
dizhuang 发表于 2014-11-30 20:52:44
写的很好,可是这只能设定一种频率吧~
回复

使用道具 举报

solar 发表于 2015-1-16 14:28:55
楼主能解释一下图中第二次count=3是如何计算的吗?
回复

使用道具 举报

ainubis 发表于 2015-3-29 18:08:22
好资料,谢谢分享。
回复

使用道具 举报

Aimiyoo 发表于 2016-3-3 15:07:01
solar 发表于 2015-1-16 14:28
楼主能解释一下图中第二次count=3是如何计算的吗?

滑动窗口长度/发送频率(30/10)
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条