分享

执行mapreduce程序后没反应

xw2016 发表于 2016-5-9 20:33:34 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 3 6990
写了个简单的mapreduce算法,在伪分布式中执行没问题,搭建了hadoop2.6+zookeeper3.4.5 HA环境,修改了程序的input和output路径,在HA环境中执行后没反应:
main 中的代码是这样的:
public class WordCountReNameApp {
        public static void main(String[] args) throws Exception {
                Configuration conf = new Configuration();
               
                Job job = new Job(conf, "WordCountReNameApp");
                // 运行主类
                job.setJarByClass(WordCountReNameApp.class);
                // 指定Mapper
                job.setMapperClass(WordMapper.class);
                // 指定Reducer
                job.setReducerClass(WordReduce.class);
                // 指定Mapper输出类型
                job.setMapOutputKeyClass(Text.class);
                job.setMapOutputValueClass(LongWritable.class);
                job.setOutputFormatClass(UserFileOutputFormat.class);
                // 指定Reducer输出类型
                job.setOutputKeyClass(Text.class);
                job.setOutputValueClass(LongWritable.class);
                // 指定输入路径
                // 指定输出路径
                String input = "hdfs://ns1/data/word.txt";
                String output = "hdfs://ns1/out";// 必须不存在
                FileInputFormat.addInputPath(job, new Path(input));
                FileOutputFormat.setOutputPath(job, new Path(output));
                // 提交
                job.waitForCompletion(true);
        }

输出如下,卡着不动了:
hadoop jarmrwcrenamens1.jar
16/04/2203:06:32 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
16/04/2203:06:33 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing notperformed. Implement the Tool interface and execute your application withToolRunner to remedy this.
16/04/2203:06:34 INFO input.FileInputFormat: Total input paths to process : 1
16/04/2203:06:34 INFO mapreduce.JobSubmitter: number of splits:1
16/04/2203:06:35 INFO mapreduce.JobSubmitter: Submitting tokens for job:job_1461261077789_0002
16/04/2203:06:35 INFO impl.YarnClientImpl: Submitted applicationapplication_1461261077789_0002
16/04/2203:06:35 INFO mapreduce.Job: The url to track the job:http://yun01-nn-01:8088/proxy/application_1461261077789_0002/
16/04/2203:06:35 INFO mapreduce.Job: Running job: job_1461261077789_0002

已有(3)人评论

跳转到指定楼层
阿飞 发表于 2016-5-9 20:49:18
楼主写个全路径,显示下word.txt看下
hdfs://ns1/data/word.txt

回复

使用道具 举报

xw2016 发表于 2016-5-9 21:10:16
[hadoop@yun01-nn-01 hadoop]$ hadoop fs -cat /data/word.txt
java aa bb cc aa aa cc java java java

hdfs-site.xml配置是这样的:
<configuration>
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>yun01-nn-01:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>yun01-nn-01:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>yun01-nn-02:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>yun01-nn-02:50070</value>
</property>
回复

使用道具 举报

xw2016 发表于 2016-5-9 21:12:23
阿飞 发表于 2016-5-9 20:49
楼主写个全路径,显示下word.txt看下
hdfs://ns1/data/word.txt

你说的这个要怎么写?
我用另一种方法回答,你看看有没有问题。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条