搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
技术交流
›
关于MapReduce一个很弱的问题请教一下
0
4
0
分享
关于MapReduce一个很弱的问题请教一下
pass9wen33
发表于 2013-10-16 13:40:47
[显示全部楼层]
阅读模式
关闭右栏
4
7235
本人刚开始接触这一块,关于处理前的分块,我看资料上说MapReduce是随机分块的,不知道能不能按照指定的规则分块呢,例如一堆数据,我要根据编号来分块,能做吗,怎么做?请大神指教啦~
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(4)人评论
电梯直达
正序浏览
lldustc
发表于 2013-10-16 13:41:32
文件存入HDFS时已经进行了分块,这个应该是按照系统设置的分块大小进行分块的。
但你说的分块我不知道你是想说把每一个文件看成一块还是按文件里的数据的某一个字段,字段满足要求看成一块,你写清楚你的需求,最好举一个例子
回复
使用道具
举报
显身卡
yunshuixiliu
发表于 2013-10-16 13:42:03
共同学习之。。
回复
使用道具
举报
显身卡
JDream314
发表于 2013-10-16 13:42:53
可以参考一下这篇文章
http://blog.csdn.net/jdream314/article/details/8243890
回复
使用道具
举报
显身卡
cranley
发表于 2013-10-16 13:43:31
MAPREDUCE框架中类InputFormat的方法
List[I] getSplits(JobContext context
) throws IOException, InterruptedException;
这个就是用来做自定义数据分块的。
具体应用可以参考FileInputFormat.getSplits中的代码,它实现按文件块大小作为依据,来切割整个文件得到文件处理块列表List[I]
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
pass9wen33
新手上路
关注
主题
帖子
粉丝
TA的主题
关于MapReduce一个很弱的问题请教一下
2013-10-16
24小时热文
2025年,IT打工人最值得跳槽的三大领域
AWS云计算实战
Docker+容器与容器云(第2版)
docker容器实战:原理、架构与应用
Docker基础与实战
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈