运行wordcount报错

丹青穆怀 发表于 2017-3-17 13:52
进程都在，现在是不知道集群里面哪个配置出问题了。

File /opt/beh/data/yarn/staging/hadoop/.staging/job_1404180478524_0002/job.jar could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
这里明显你的datanode坏了一个，重启下试试，可能有僵尸进程，并且都等5分钟后再看，有的起来后就挂掉了。每台都看下。最好贴出来，别人帮你看下。

丹青穆怀 发表于 2017-3-17 16:45
namenode
4128 ResourceManager
3200 JournalNode

只有三个节点？？？

langke93 发表于 2017-3-17 16:46
只有三个节点？？？

嗯嗯，

丹青穆怀 发表于 2017-3-17 17:24
嗯嗯，

hadoop HA至少五个节点

langke93 发表于 2017-3-17 19:25
hadoop HA至少五个节点

你确定？那网上为什么会有三个节点的HA的部署帖子，

丹青穆怀 发表于 2017-3-21 14:53
你确定？那网上为什么会有三个节点的HA的部署帖子，

贴出来看下，你贴出自己的部署图。进程分布

	进程	node1	node2	node3
NN	NameNode
DN	DateNode
JN	JournalNode
YARN	ResourceManage
	NodeManager
ZOO	QuorumPeerMain
ZKFC	DFSZKFailoverController

楼主检测下面内容:1.hadoop的副本replication配置的是多少
<property>  

    <name>dfs.replication</name>

    <value>？？</value>

    </property>


2.conf/slaves中hostname配置

3.防火墙是否关闭
4.磁盘空间是否足够

5.上述可以一起贴出来看下，如没有问题建议重新格式化，然后在检测下，然后运行。

langke93 发表于 2017-3-21 15:04
贴出来看下，你贴出自己的部署图。进程分布

上边有一个回答里面有三台机器集群启动后的进程，可以看一下，谢谢！

tntzbzc 发表于 2017-3-21 15:15
楼主检测下面内容:1.hadoop的副本replication配置的是多少
  

感谢提醒，副本数我配置的是3，但是DataNode貌似只有一台了，之前本来有三台的有两台被别人用了，我也没有改。是不是就是这边出了问题。上传HDFS文件时，DataNode异步拷贝文件到别的DataNode的时候报错？

丹青穆怀 发表于 2017-3-21 16:37
感谢提醒，副本数我配置的是3，但是DataNode貌似只有一台了，之前本来有三台的有两台被别人用了，我也没 ...

识别路径的没问题了，又有了新的问题，。。。。
17/03/21 17:31:27 INFO impl.TimelineClientImpl: Timeline service address: http://hadoop001:8188/ws/v1/timeline/
17/03/21 17:31:27 INFO client.AHSProxy: Connecting to Application History server at hadoop001/172.16.13.224:10200
17/03/21 17:31:31 INFO client.ConfiguredRMFailoverProxyProvider: Failing over to rm2
17/03/21 17:31:32 INFO input.FileInputFormat: Total input paths to process : 4
17/03/21 17:31:32 INFO mapreduce.JobSubmitter: number of splits:4
17/03/21 17:31:33 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1490088658080_0001
17/03/21 17:31:34 INFO impl.YarnClientImpl: Submitted application application_1490088658080_0001
17/03/21 17:31:34 INFO mapreduce.Job: The url to track the job: http://hadoop002:23188/proxy/application_1490088658080_0001/
17/03/21 17:31:34 INFO mapreduce.Job: Running job: job_1490088658080_0001
17/03/21 17:31:39 INFO mapreduce.Job: Job job_1490088658080_0001 running in uber mode : false
17/03/21 17:31:39 INFO mapreduce.Job:  map 0% reduce 0%
17/03/21 17:31:39 INFO mapreduce.Job: Job job_1490088658080_0001 failed with state FAILED due to: Application application_1490088658080_0001 failed 2 times due to AM Container for appattempt_1490088658080_0001_000002 exited with  exitCode: -1000
For more detailed output, check application tracking page:http://hadoop002:23188/proxy/application_1490088658080_0001/Then, click on links to logs of each attempt.
Diagnostics: Could not find any valid local directory for nmPrivate/container_1490088658080_0001_02_000001.tokens
Failing this attempt. Failing the application.
17/03/21 17:31:39 INFO mapreduce.Job: Counters: 0