desehawk 发表于 2016-10-27 21:59 这个问题是在提交JOB时发现的,后来不运行JOB,直接启动HBASE后,通过Hbase的WEB页面查看hmaster的配置,发现hbase调用的resourcemanger的端口和主机与实际配置的都不一致。不过目前将配置复制过去后,确实问题解决了。 |
XUELANG 发表于 2016-10-26 09:50 这也需要阅读源码了。 楼主确定是这个原因吗? 也就是说importtsv将文件从hdfs导入到hbase时候,提交job,用到的是hbase路径的配置文件yarn-site.xml 按照常理来说应该到hadoop配置文件下去找yarn-site.xml 所以还是需要查查源码 |
arsenduan 发表于 2016-10-25 17:30 这个也是我要问的问题。 |
感谢各位的指点,hadoop的dfs和resourcemanager 本身没有问题,可以运行自带的wordcount例子;另外hbase本身可以进行表的创建等操作;我的整个基本架构是这样的,三个虚拟机,第一个作为namenode和resourcemanager以及hbase的hmaster,另外2个作为datanode、nodemanager和HRegionServer,zookeeper部署在节点1上;遇到的问题是,我在用importtsv将文件导入到hbase时,报以上错误,我配置的resourcemanager.address的地址端口是192.168.72.131:8032,并且8032端口也是监听状态,但是hbase运行时配置中的resourcemanager.address的地址端口是localhost:18032,见上图,感觉hbase调用的是yarn的默认配置。现在的问题是为什么会产生不一致的现象?我昨天下班前,将yarn-site.xml文件复制到hbase的配置路径下,重启hbase后,问题解决,运行importtsv数据导入成功。有哪位大神知道为什么要单独将yarn-site.xml文件复制到hbase的配置路径下? |
配置HA了吗? |
原因太多了,网络,配置文件,还有格式化失败等等 format失败的原因可能是用户对/tmp/hadoop的目录的权限不够,可以执行 [mw_shl_code=bash,true]sudo chown -R user /tmp/hadoop[/mw_shl_code] 楼主需一一排查下 |
本帖最后由 desehawk 于 2016-10-25 17:56 编辑 XUELANG 发表于 2016-10-25 17:05 最好上图,这样更清楚楼主的环境,一些主观性的看法,不能解决问题的。 这是在哪台机器,使用了什么命令。 |
XUELANG 发表于 2016-10-25 17:05 hosts所有的都是如何配置的 为何配置的hadoop1,但是连接是localhost |
集群是启动的,状态也是正常的。 |