搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
技术交流
›
Hive
›
关于hadoop分块的问题咨询
0
1
0
分享
关于hadoop分块的问题咨询
小钟
发表于 2016-10-7 19:54:08
[显示全部楼层]
阅读模式
关闭右栏
1
7506
About云VIP帮助找工作和提升
各位,今天我把本地的文件copy和put到hdfs上,但是ls一下hdfs上文件,还是整个文件的,为什么没有分块呢,还是整个文件,如果我想上传的文件分块存储,我该如何处理?
hadoop fs -copyFromLocal /home/zhong/hadoop/hadoop-2.5.0-cdh5.2.0.tar.gz /user/grid/zhong_input
hadoop fs -put /home/zhong/hadoop/hadoop-2.5.0-cdh5.2.0.tar.gz /user/grid/zhong_input/hadoop-2.5.0-cdh5.2.0.tar1.gz
[zhong@h2 hadoop-2.5.0-cdh5.2.0]$ hadoop fs -ls /user/grid/zhong_input
Found 3 items
-rw-r--r-- 3 zhong supergroup 164024789 2016-10-06 23:54 /user/grid/zhong_input/hadoop-2.5.0-cdh5.2.0.tar.gz
-rw-r--r-- 3 zhong supergroup 164024789 2016-10-07 00:19 /user/grid/zhong_input/hadoop-2.5.0-cdh5.2.0.tar1.gz
-rw-r--r-- 3 zhong supergroup 2622 2016-10-06 22:21 /user/grid/zhong_input/quangle.txt
hdfs_site.xml 配置文件增加了这个配置了
<property>
<name>dfs.block.size</name>
<value>67108864</value>
<description>The default block size for new files.</description>
</property>
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(1)人评论
电梯直达
正序浏览
einhep
发表于 2016-10-7 20:52:04
首先我们知道hdfs是分布式文件系统,我们的磁盘是传统的文件系统。磁盘其实也是二进制。但是我们在查看文件的时候,看到的不是二进制,同理,在hdfs上我们也不会看到block.因为楼主用的命令是查看文件命令。
如何看到block,
HDFS物理存储单元是Block(缺省的Block大小为64M),每个Block会有几个副本(缺省是3个),
这些Block都是存储在不同数据节点上的,也就是datanode上
。映射关系保存在BlocksMap。
我们的文件对应的block id映射信息存在BlocksMap中,那么BlocksMap存在什么位置?
BlocksMap存放于
fsimage文件中。
fsimage在什么位置:首先对于hadoop1.x是由hdfs-site.xml中hadoop.tmp.dir来配置的,如下图所示
下面我们从路径中来找到fsimage,如下图所示。
更多内容:
HDFS文件系统如何查看文件对应的block
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7604
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
小钟
中级会员
关注
12
主题
37
帖子
3
粉丝
TA的主题
请教如何处理。
2019-5-5
hive decode函数使用例子给一个?
2018-12-24
关于sequencefile存储格式问题咨询
2016-11-20
关于hadoop分块的问题咨询
2016-10-7
启动hive报错,麻烦看看
2016-10-5
24小时热文
Flink CDC:新一代实时数据集成框架
蚂蚁面试就是不一样
如何高效学习
人情世故速查速用大全集
框架思维
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈