storm详解：第一章 storm分布式单词计数

查看数: 84995 | 评论数: 12 | 收藏 2

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2014-11-3 20:34

问题导读 1.Storm拓扑包含哪些基本元素？ 2.如何描述单词计数拓扑数据流？ 3.典型的Bolt执行哪些功能？ 4.什么是Storm流分组？本章，主要介绍使用storm开发分布式流处理应用的基本概念。我们将 ...

l5211314121 发表于 2016-1-8 11:01:12

好文章

topnetwork.com 发表于 2015-9-24 08:53:07

每天都会看，每天进步

benwen 发表于 2015-9-18 15:10:43

您好，我在单独节点上查看了日志，是每个节点执行了一遍topo，结果每个节点也是输出一份完成的，且5份都是一样的，所以我怀疑他没有实现分布式而是每个supervisor节点执行了一遍supervisor,能否指点一二，多谢多谢。

bob007 发表于 2015-9-18 11:02:46

benwen 发表于 2015-9-18 09:44
楼主您好，HDFS的副本数是设置的2，我安装的是storm-on-yarn，请问storm-on-yarn是不是不能实现分布式？又 ...

storm-on-yarn是分布式的
可以对拓扑设置.
建议先入门，storm、spark、hadoop都是分布式的

benwen 发表于 2015-9-18 09:44:35

楼主您好，HDFS的副本数是设置的2，我安装的是storm-on-yarn，请问storm-on-yarn是不是不能实现分布式？又或者是不是有什么默认参数可以设置吗?

s060403072 发表于 2015-9-17 22:41:52

benwen 发表于 2015-9-17 20:34
楼主，您好，请问下，我写了一个wordcount的例子，放在集群上面跑，集群是5个节点，输出结果写入到HDFS上面 ...

写了mapreduce，这就是分布式框架。hdfs 备份是几份啊

benwen 发表于 2015-9-17 20:34:04

楼主，您好，请问下，我写了一个wordcount的例子，放在集群上面跑，集群是5个节点，输出结果写入到HDFS上面,写过写到HDFS上面的数据是5份，而且貌似是一个节点一份，请问下楼主如何才能实现分布式呢？是不是还需要做其他的设置？

xcl5918 发表于 2015-8-30 11:01:58

非常好1真的

evleaks 发表于 2015-8-29 14:20:05

图文精华