storm处理一比交易的耗时报错

查看数: 16527 | 评论数: 7 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2015-4-12 19:52

本帖最后由 mjjian0 于 2015-4-12 19:55 编辑六台flume服务器，三台kafka服务器，大概流程是这样：flume采集数据到kafka，然后storm去kafka数据分析，为了做交易耗时统计，采用redis做缓存。我日志文件的数 ...

尘世随缘 发表于 2015-4-13 13:22:40

并行处理，不一定先有start再有end啊。有可能先end过来再start过来。可以先换个思路去解决这个问题。

lzw 发表于 2015-4-12 21:47:29

mjjian0 发表于 2015-4-12 21:09
不会的，一条数据的状态不可能既是start又是end的。
你所说的并行是什么意思啊、

storm取的时候就是先取到的end的数据，然后报空指针异常啊？

你的意思是他们有一个顺序？

mjjian0 发表于 2015-4-12 21:09:53

lzw 发表于 2015-4-12 21:04
如果是这样的话，他们就不是并列的关系。
把end的情况放到start里面。采用下面的方式
if(start)

不会的，一条数据的状态不可能既是start又是end的。
你所说的并行是什么意思啊、

lzw 发表于 2015-4-12 21:04:15

mjjian0 发表于 2015-4-12 20:53
会不会是在数据到kafka时候，把日志里的顺序打乱了，导致，storm取的时候就是先取到的end的数据，然后报 ...

如果是这样的话，他们就不是并列的关系。
把end的情况放到start里面。采用下面的方式
if(start)
{
if(end)
{}

}

mjjian0 发表于 2015-4-12 20:53:04

lzw 发表于 2015-4-12 20:42
如果start不出现错误，end应该也不会。
除非在end的时候，时间戳为空了，导致转换失败

会不会是在数据到kafka时候，把日志里的顺序打乱了，导致，storm取的时候就是先取到的end的数据，然后报空指针异常啊？

lzw 发表于 2015-4-12 20:42:44

mjjian0 发表于 2015-4-12 20:24
本帖//、看得多回的少啊

如果start不出现错误，end应该也不会。
除非在end的时候，时间戳为空了，导致转换失败

mjjian0 发表于 2015-4-12 20:24:19

图文精华