分享

在执行wordcount时,job卡住不继续执行。

苏晓黑 发表于 2015-9-18 16:09:20 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 13 62237
开发环境是redhat版本的linux,hadoop2.7.1我在运行wordcount时遇到了一个问题,一直卡在 “ INFO mapreduce.Job: Running job: job_1442558810788_0002 ” 而不能继续,我看了详细的打印信息,是一直在做这个请求 1.png 。在网上找的答案,说是linux的"/etc/hosts"文件的问题,我的hosts文件配置如下 2.png ,core-site.xml配置如下 3.png ,mapred-site.xml配置如下 4.png ,yarn-site.xml配置如下 5.png ,hdfs-site.xml配置如下 6.png 。谢谢各位了。

已有(14)人评论

跳转到指定楼层
苏晓黑 发表于 2015-9-18 16:10:52
而且日志中没有报错的信息。
回复

使用道具 举报

tntzbzc 发表于 2015-9-18 16:49:10
苏晓黑 发表于 2015-9-18 16:10
而且日志中没有报错的信息。

先看看集群是否正常包括进程等,然后监控下job是否在运行。可能运行的较慢而已
回复

使用道具 举报

苏晓黑 发表于 2015-9-18 16:57:00
tntzbzc 发表于 2015-9-18 16:49
先看看集群是否正常包括进程等,然后监控下job是否在运行。可能运行的较慢而已

进程是正常的,应该不是慢,就是一直在循环第一截图的状态。
回复

使用道具 举报

tntzbzc 发表于 2015-9-18 16:59:16
苏晓黑 发表于 2015-9-18 16:57
进程是正常的,应该不是慢,就是一直在循环第一截图的状态。

自己写的,还是自带的
回复

使用道具 举报

苏晓黑 发表于 2015-9-18 17:02:19
tntzbzc 发表于 2015-9-18 16:59
自己写的,还是自带的

是照着例子写的,在Eclipse上运行正常,就是使用命令行“bin/hadoop jar wc.jar org.apache.hadoop.examples.WordCount /user/root/input/ /user/root/output”运行的时候,一直执行不下去,参数也是一样的。
回复

使用道具 举报

tntzbzc 发表于 2015-9-18 17:03:14
苏晓黑 发表于 2015-9-18 17:02
是照着例子写的,在Eclipse上运行正常,就是使用命令行“bin/hadoop jar wc.jar org.apache.hadoop.examp ...

那你运行个自带的,这个可能跟自己程序有关系
回复

使用道具 举报

苏晓黑 发表于 2015-9-18 17:31:33
tntzbzc 发表于 2015-9-18 17:03
那你运行个自带的,这个可能跟自己程序有关系

恩,正在测试,谢谢。如果有问题,我还是在这个帖子里。
回复

使用道具 举报

levycui 发表于 2015-9-18 17:41:37
细心检查配置内容,肯定是配置错误了
回复

使用道具 举报

苏晓黑 发表于 2015-9-18 17:44:42
levycui 发表于 2015-9-18 17:41
细心检查配置内容,肯定是配置错误了

恩,现在感觉应该是在/etc/hosts文件,或者/etc/sysconfig/network这两个文件中有错误。不过还不知道怎么配置。现在报错是 7.png
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条