zayliu1 发表于 2014-11-12 10:55:06

求助 hadoop MapReduce-50070 页面,HDFS-50030 页面的集群信息怎么获取

求助 hadoop MapReduce-50070 页面,HDFS-50030 页面的集群信息怎么获取

想通过java api 获取 MapReduce-50070 页面 和HDFS-50030 页面集群统计信息,

只在jmx接口中看到一些,java api上招了半天没找到,不知到这些统计信息在java api 的哪个包中的类上有提供访问的方法
还请各位大神指点。

如以下图中这些信息
如:
hdfs 的
heap size
DFS Used


jobtrack 的
heap size 等




bioger_hit 发表于 2014-11-12 11:43:48

首先现在大数据云技术,又兴起了一种新技术,就是REST。在我们的Java编程中,有Java 编程,及Javaweb编程。那么在hadoop中也是同样的道理,所以如果想通过页面获取信息,则需要研究hadoop RESTapi

下面是一些资料,可以参考
Hadoop web初级:通过html调用hadoop WebHDFS REST API

hadoop、openstack web编程必读:什么是REST----RESTful架构起源及讲解


Hadoop web编程--REST API WebHDFS


【求助】Hadoop 1.0 的WebHDFS REST服务如何启动

高帝斯法则 发表于 2014-11-12 13:46:59

看下DFSClient类的API有没有,没有的话就需要看下源码了

desehawk 发表于 2014-11-12 23:30:45

高帝斯法则 发表于 2014-11-12 13:46
看下DFSClient类的API有没有,没有的话就需要看下源码了



官网都有的

比如你想获取任务的信息
可以通过Tasks API




比如想获取有哪些job。可以使用Jobs API







更多api参考官网 restapi

页: [1]
查看完整版本: 求助 hadoop MapReduce-50070 页面,HDFS-50030 页面的集群信息怎么获取