分享

问个基础的问题,hdfs的block是io的最小单位么?假如block size 为 64M,但是我只...

hyj 发表于 2013-10-30 21:23:30 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 6060
问个基础的问题,hdfsblockio的最小单位么?假如block size 64M,但是我只需要读取后面的10M数据,这种情况是否需要读取整个 block呢?我想用hdfs,文件系统读取的,但是读取不了。

已有(1)人评论

跳转到指定楼层
nettman 发表于 2013-10-30 21:36:58
blockhdfs的操作的基本单位
这个最好用map函数读取
这两者不一样。hadoop不适合做小文件处理啊,哪有把10M的数据放在hadoop里面做分析运算的...
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条