Hadoop、HBase、ElasticSearch、Storm、Kafka、Spark

我了解过搭建实时系统可以使用pig神的 这套框架大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合，但是  首先我想问下 Hadoop、HBase、ElasticSearch、Storm、Kafka、Spark 的组合是否是正确的系统组合框架，而且是用来干什么的？各个组件在这个框架中起到什么作用。其实有三个组件的关系搞的不是很明白：ElasticSearch、Storm、Spark，希望有人能解答。

楼主掌握更多的框架固然好，但是框架是为了更好的解决所面临的问题。没有最好的框架，只有适合自己的框架。所以不要盲目去组合这些内容，更无法脱离环境，而只讨论框架。


ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

比如建立一个网站或应用程序，并要添加搜索功能。

遇到的问题是：搜索工作是很难的。我们希望搜索解决方案要快，我们希望有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP的索引数据，我们希望我们的搜索服务器始终可用，我们希望能够一台开始并扩展到数百，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。Elasticsearch旨在解决所有这些问题

spark擅长内存计算，hadoop适合离线分析，storm适合实时计算，hbase适合实时查询，
他们都各自都有自己的作用，所以如果有这个场景，即可组合，没有这么个场景，组合起来，反而是一个累赘。

如果自己想练习，可以找找资料，看看他们的结合点在什么地方。