搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
技术交流
›
Storm
›
storm 用于接收大量实时的车载GPS数据。 求教接收方案? ...
0
1
0
分享
storm 用于接收大量实时的车载GPS数据。 求教接收方案???
xiaobaismiley
发表于 2013-10-16 13:40:04
[显示全部楼层]
阅读模式
关闭右栏
1
6679
最近在学习storm,需求是实时接收5万辆车子上的GPS数据,原来的想法是:服务器开启一个socket监听,GPS设备通过TCP协议把数据发送到服务器的socket上,在服务器上监听接收数据就行了。我想问能否在storm集群中实现接收存储,是否可以在各个节点中spout中开启socket监听,不断接收数据,作为数据来源,然后发射到相应bolt进行解析存储,数据则存储在集群的各个节点上。
我的疑问是,如果运行在一个storm集群上的吧,GPS设备上传数据的时候应该是发送到指定的服务器,而不是直接发送到工作节点的电脑上的,那么storm集群上的各个节点怎么如何能接收到数据呢??难道集群工作时对外界是透明的,在各个节点上开启socket监听都能接收GPS设备的数据??
对集群的概念也不太清楚,希望大家帮我解答一下,给点思路也好。
行业数据
Storm
GPS
服务器
存储
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(1)人评论
电梯直达
正序浏览
tntzbzc
发表于 2013-10-16 13:40:51
我对storm只有一点皮毛的研究,说错了请拍砖
数据传输针对集群,CLIENT并不会直接控制节点机,所有的任务都有nimbus负责,CLIENT不会直接访问Supervisor,他们之间是由Zookeeper调度控制的,这点和HBASE很像~
就像LZ说的集群工作时对外界是透明的!!!!
storm的任务调度和Hadoop的MapReduce很像,只是很像~~~,他们有很大的区别
MapReduce的任务生命周期是由一个一个JOB形成的,当JOB结束时,任务也就结束了
storm则不同,它的管道是对所有任务开放的,所以不会有关闭的概念,除非你KILL守护进程
建议LZ线去了解一下storm的特性和集群架构,最好自己动手配一个。实践是最好的学习方法
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
xiaobaismiley
新手上路
关注
主题
帖子
粉丝
TA的主题
storm 用于接收大量实时的车载GPS数据。 求教接收方案???
2013-10-16
24小时热文
Spark机器学习
Spark机器学习算法、源码及实战详解
《深度实践Spark机器学习(吴茂贵)》高清
《Spark机器学习第2版》高清中文PDF
像高手一样发言:七种常见工作场景的说话之
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈