搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
博客
群组
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云
»
专题
›
交流区
›
技术交流
›
hadoop 创建lucene 多节点索引
0
0
0
分享
hadoop 创建lucene 多节点索引
fruwei
发表于 2013-10-16 13:41:37
[显示全部楼层]
阅读模式
关闭右栏
0
5268
大家好 我有个问题 。我有大量文本文件存在hdfs上 现在要通过lucene为他们建立索引 ,首先我将文本聚类成很多子集合 , 用一个文件存储文件id与集合的对应关系 ,即key:集合id;value:文件id 。接下来就是需要建立索引,建索引只需要对各个集合分别做索引,索引文件最终存在各个节点,比如上面有k个集合,最终就会有k个索引目录,分别存在k台机子上。由于已经有用rmi实现多台机子并行建立索引的例子,我现在就是想把这个过程搬到hadoop上,用map/reduce来处理而省去rmi所需要的客户端服务器操作。 其实我的目的很简单 就是想让每个tasktracker自己做本地的一个索引建立 但是我不知道怎么写啊。。。
文档是放在hdfs上的 只是建索引分析的时候需要下载它 最后的索引只需要建立在本地这样
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
没找到任何评论,期待你打破沉寂
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
fruwei
新手上路
关注
主题
帖子
粉丝
TA的主题
hadoop 创建lucene 多节点索引
2013-10-16
24小时热文
哈佛通识教育红皮书 (北大高等教育文库·大
代码精进之路:从码农到工匠
为什么面试难!一文帮我们看透本质,拿捏of
程序员薪资排名,AI位居榜首,平均年薪277
Django实战:Python Web典型模块与项目开发
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈