搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
博客
群组
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云
»
专题
›
交流区
›
技术交流
›
MapReduce
›
如何实现从字典里查找数据并加入已有文件中?
0
3
0
分享
如何实现从字典里查找数据并加入已有文件中?
kentlc
发表于 2015-5-24 01:01:05
[显示全部楼层]
阅读模式
关闭右栏
3
15402
我有两个文件,文件A包含一系列的字符串,文件B是字典,一列字符串,一列对应的中文名。我希望通过一个程序将A的字符在字典B中找到,并将对应文字加在A的后面。也就是如下:
文件A:
abc
def
ghi
文件B:
qwe 123
abc 456
def 789
输出:
abc 456
def 789
ghi null
因为数据量很大,请问可以用map/reduce实现么?因为文件是保存在HDFS上的,不能传到本地,请问应该如何操作呢?求各位大大指点!!!
如何
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
相关帖子
.
sqoop2 如何修改link
.
问个关于如何直接给实例绑定外部IP的问题
.
ceilmeter如何推送数据至gnocchi
.
以HBase表作为MapReduce的输入,如何控制分片的大小,增加map task的数量
.
kafka的实际项目里面是如何push数据的
.
scala 输入指定的年月日判断这一天是一年的第几天,如何写代码
.
flume如何采集本地数据到kafka中? 遇到问题了
.
关于hive并发问题求助!!!
.
spark rdd如何做到terasort那样的快速排序
.
openstack开发在windows7下如何引入 keystoneclient.v2_0.client
已有(3)人评论
电梯直达
正序浏览
bob007
发表于 2015-5-24 02:00:52
这有点类似创建索引,楼主可以看看solr和nutch.
通过mapreduce倒是可以,但是应该有现成的解决方案
回复
使用道具
举报
显身卡
bob007
发表于 2015-5-24 02:04:20
基于Hadoop的搜索引擎用户行为分析
hadoop 创建lucene 多节点索引
基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎
回复
使用道具
举报
显身卡
sprite101
发表于 2015-5-24 10:39:43
mr可以做到,看看mr的join
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
kentlc
新手上路
关注
主题
帖子
粉丝
TA的主题
从字典中查找字符串加入文件的问题
2015-5-24
如何实现从字典里查找数据并加入已有文件中?
2015-5-24
24小时热文
哈佛通识教育红皮书 (北大高等教育文库·大
代码精进之路:从码农到工匠
为什么面试难!一文帮我们看透本质,拿捏of
程序员薪资排名,AI位居榜首,平均年薪277
Django实战:Python Web典型模块与项目开发
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈