Mapreduce调试报NullPointerException

查看数: 9291 | 评论数: 7 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2016-9-1 16:48

正文摘要:

一个非常简单的程序,指定一条样本数据,从文件中读取样本数据进mapper,求指定的样本与每一条split样本的距离,在reducer中规约,找到最小的距离样本信息,并输出。在mapper中,读取一条Text,转换成字符串,并用自 ...

回复

斯巴达之狐 发表于 2016-9-1 19:46:33
NEOGX 发表于 2016-9-1 18:31
//设置输入输出流
        FileInputFormat.setInputPaths(job, new Path("E:\\qyzfile\\大数据工作室\\s ...

感谢你的回复,可能跟你说的有些出入了,因为最开始搭环境时,在window下eclipse中跑wordcount的时候,输出输出可以使用本地文件系统的。问题我自己解决了,是我的粗心大意导致的,具体请看下面楼层。再次感谢你的回复
斯巴达之狐 发表于 2016-9-1 19:44:19
nextuser 发表于 2016-9-1 18:04
代码是哪个版本的,提交的集群又是哪个版本的

谢谢你的回复,hadoop环境是2.5.2版本,eclipse关联的源码包也是2.5.2的,并没有提交到集群中去,只是在eclipse中运行调试啦。已经解决问题了,是我的粗心大意,不过还是很感谢你的回复!!(问题解决请看下面楼层)
tntzbzc 发表于 2016-9-1 18:33:33
好像没有把封装的样本,导入到map reduce main中
如果提交到集群,这些包也都需要配置下
NEOGX 发表于 2016-9-1 18:31:17
//设置输入输出流
        FileInputFormat.setInputPaths(job, new Path("E:\\qyzfile\\大数据工作室\\smoteData"));
        FileOutputFormat.setOutputPath(job, new Path("E:\\qyzfile\\大数据工作室\\smoteOutput"));
最好使用hdfs路径


nextuser 发表于 2016-9-1 18:04:34
代码是哪个版本的,提交的集群又是哪个版本的
关闭

推荐上一条 /2 下一条