MapReduce初级案例（1）：使用MapReduce去重

那个输入和输出是在远程机器上吗？我的怎么在本地win7下对应的工程下面啊？

好了，终于搞定了，是设置的input和output在本地的缘故，非常感谢楼主，学习了

代码中不加

//这句话很关键

        conf.set("mapred.job.tracker", "192.168.1.2:9001");

也可以运行成功，我用的是apache hadoop 2.3.0

不错的小例子

我在1.X平台上跑出来的结果怎么没有去重啊，mr就是按帖子上的写的

C:\Users\Administrator\Desktop\1.jpg

xiaohao 发表于 2014-10-21 17:52
本帖最后由 howtodown 于 2014-10-21 18:58 编辑
我在1.X平台上跑出来的结果怎么没有去重啊，mr就是按帖 ...

根据例子，仔细检查下自己的数据和程序

bioger_hit 发表于 2014-10-21 19:04
根据例子，仔细检查下自己的数据和程序

不好意思，我重新检查了一下，发现就多写了，一个字母，坑死我啦。。已经成功了，多谢指教

楼主，我怎么运行你的例子老是抛类找不到的错误啊  
14/10/30 18:57:09 INFO mapred.JobClient: Task Id : attempt_201410300042_0021_m_000001_0, Status : FAILED
java.lang.RuntimeException: java.lang.ClassNotFoundException: cheng.Dedup$Map
        at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:849)
        at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:199)
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:719)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
        at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
        at org.apache.hadoop.mapred.Child.main(Child.java:249)