搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
办公|编程助手
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
技术交流
›
Hadoop|YARN
›
hadoop怎么查看文件放在哪台计算机?
0
2
0
分享
hadoop怎么查看文件放在哪台计算机?
395455030
发表于 2015-12-3 13:28:23
[显示全部楼层]
阅读模式
关闭右栏
2
11956
About云VIP帮助找工作和提升
我知道hadoop把数据装在一些块里,一个块的位置可能在多个datanode中的随机一个,怎么知道在哪个?我看以前版本的hadoop的50070端口对应的网页似乎能查询。我用2.7.1版的50070界面有overview、datanodes、datanode volume failure等几个选项,点下去都没反应,只有browse the file system和logs可以用。选择browse the file system,找到我要看的文件,点进去,只能看到这样的信息:
Block ID: 1073741825
Block Pool ID: BP-683251717-192.168.163.129-1449043564609
Generation Stamp: 1001
Size: 88
Availability:
* slave1
我的namenode的IP是192.168.163.129(主机名master);datanode两个是192.168.163.129、192.168.163.130(主机名slave1)。
测试后发现Block Pool ID和Availability都不是反应文件存储的机器的,那这二个表示什么意思?
50070页面的datanodes名字上看感觉可以查询当前namenode连接了哪些datanode,datenode状态如何,实际点下去没反应,那么多按键真的不能用吗?
我想知道怎么查看一个文件有哪些块,都放在哪台机器上啊?
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(2)人评论
电梯直达
正序浏览
Joker
发表于 2015-12-3 14:24:08
在fsimage中,并没有记录每一个block对应到哪几个Datanodes的对应表信息,而只是存储了所有的关于namespace的相关信息。而真正每个block对应到Datanodes列表的信息在hadoop中并没有进行持久化存储,而是在所有Datanode启动时,每个Datanode对本地磁盘进行扫描,将本Datanode上保存的block信息汇报给Namenode。
【查看文件的时候从元数据中就可以知道该文件有几个文件块。而且这个block的所在的DT地址可能会变化】
回复
使用道具
举报
显身卡
starrycheng
发表于 2015-12-3 17:15:54
彻底了解namenode
http://www.aboutyun.com/thread-15630-1-1.html
这篇对楼主可能有所帮助
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
最佳新人
积极上进,爱好学习
热心会员
经常帮助其他会员答疑
发表新帖
395455030
注册会员
关注
9
主题
40
帖子
3
粉丝
TA的主题
用过elasticsearch的来解答一下
2016-6-5
初学solr启动有问题
2016-4-18
hbase如何实现查字典式的快速查询?
2016-1-27
spark处理1亿行的数据耗时应为多少?
2016-1-19
想用scala程序操作spark时遇到了问题
2016-1-12
24小时热文
Flink CDC:新一代实时数据集成框架
蚂蚁面试就是不一样
如何高效学习
人情世故速查速用大全集
框架思维
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈