hbase导入数据到solr，或者elasticsearch

           最近需要用到hbase，因为hbase只是对rowkey的查询支持非常好，所以对于其他查询需要借助于二级索引，考虑到用solr或者elasticsearch这两种全文搜索引擎。想通过增量去将hbase中的数据索引到两个引擎。查了一下，目前主要有两种方法，一种是通过hbase提供的Coprocessor中的钩子去实现增量，但是这样的话每次写数据就要去索引一下，会极大的降低效率。另外一种就是借助于Lily HBase Indexer这种工具，利用的是hbase的replication的机制。但是发现好像很少用的。不知道靠不靠谱。。。求大神指点啊。第一种有没有能不影响效率的方法？或者其他的增量索引方式。现在有很多的公司都在用hbase，大家都是怎么解决查询的这种问题啊？

我们公司是用的luence解决的。

方案还是比较多的。楼主提的这两种方案，好像公司用的不多，面对hbase其它查询比较慢，一般是借助了第三方的工具。
比如solr,ElasticSearch,luence等
当然ElasticSearch也属于luence

langke93 发表于 2015-4-1 15:24
我们公司是用的luence解决的。

能说一点思路吗？

jixianqiuxue 发表于 2015-4-1 15:34
方案还是比较多的。楼主提的这两种方案，好像公司用的不多，面对hbase其它查询比较慢，一般是借助了第三方 ...

对啊，这个我知道。我们也是想这么用。想在elasticsearch中建立索引，通过es去查询出rowkey，然后通过rowkey去hbase中取数据。现在是缺少一种对hbase入数据的时候，同时将数据索引给elasticsearch的手段。最好是增量的。

ld512870 发表于 2015-4-1 15:55
能说一点思路吗？

lucene到hbase上去拉数据，然后，然后自己建个对应关系

通过程序实现不就好了！

问一下楼主最后你们是用了什么方案呢？