图文精华

About云-梭伦科技»专题 › 技术学习(版主发帖区) › 大数据学习 › 实操演练› hadoop编程：解决eclipse能运行，打包放到集群上ClassNo ...
分享

hadoop编程：解决eclipse能运行，打包放到集群上ClassNotFoundException:经验总结

pig2 2014-3-8 17:29:12 发表于 实操演练 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 6 146941


本文之所以称之为经验，是因为我们经常碰到莫名其妙的问题，从原理上是说不通的。但是我们却确确实实碰到了。
在刚开始运行的时候，碰到了下文所表示的错误。本想作为经验总结留下来。为了让错误重现，所以又重新操作了一遍。这时候已经换环境，但是环境与原先没做任何的更改，也就是说他们的配置完全是一样的，神奇的是mapreduce执行的完全正确。对于如果碰到下面问题的同学，可以参考。对于原理性的内容，以后在更新。

对于新手，经常遇到，在eclipse中是可以运行的，但是打包放到集群上，不可行，问题如下：

  1. Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration

  2. at mapreduce.mapreduce.main(mapreduce.java:24)

  3. Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration

  4. at java.net.URLClassLoader$1.run(URLClassLoader.java:366)

  5. at java.net.URLClassLoader$1.run(URLClassLoader.java:355)

  6. at java.security.AccessController.doPrivileged(Native Method)

  7. at java.net.URLClassLoader.findClass(URLClassLoader.java:354)

  8. at java.lang.ClassLoader.loadClass(ClassLoader.java:425)

  9. at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)

  10. at java.lang.ClassLoader.loadClass(ClassLoader.java:358)

  11. ... 1 more
复制代码


  1. hadoop jar '/home/user/Desktop/mapreduce.jar' mapreduce

  2. 14/03/05 05:35:09 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.

  3. 14/03/05 05:35:09 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).

  4. 14/03/05 05:35:09 INFO input.FileInputFormat: Total input paths to process : 1

  5. 14/03/05 05:35:09 INFO util.NativeCodeLoader: Loaded the native-hadoop library

  6. 14/03/05 05:35:10 WARN snappy.LoadSnappy: Snappy native library not loaded

  7. 14/03/05 05:35:10 INFO mapred.JobClient: Running job: job_201402280238_0011

  8. 14/03/05 05:35:11 INFO mapred.JobClient:  map 0% reduce 0%

  9. 14/03/05 05:35:25 INFO mapred.JobClient: Task Id : attempt_201402280238_0011_m_000000_0, Status : FAILED

  10. java.lang.RuntimeException: java.lang.ClassNotFoundException: mapreduce.mapreduce$MyMapper

  11. at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:867)

  12. at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:199)

  13. at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:719)

  14. at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)

  15. at org.apache.hadoop.mapred.Child$4.run(Child.java:255)

  16. at java.security.AccessController.doPrivileged(Native Method)

  17. at javax.security.auth.Subject.doAs(Subject.java:415)

  18. at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)

  19. at org.apache.hadoop.mapred.Child.main(Child.java:249)

  20. Caused by: java.lang.ClassNotFoundException: mapreduce.mapreduce$MyMapper

  21. at java.net.URLClassLoader$1.run(URLClassLoader.java:366)

  22. at java.net.URLClassLoader$1.run(URLClassLoader.java:355)

  23. at java.security.AccessController.doPrivileged(Native Method)

  24. at java.net.URLClassLoader.findClass(URLClassLoader.java:354)

  25. at java.lang.ClassLoader.loadClass(ClassLoader.java:425)

  26. at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)

  27. at java.lang.ClassLoader.loadClass(ClassLoader.java:358)

  28. at java.lang.Class.forName0(Native Method)

  29. at java.lang.Class.forName(Class.java:270)

  30. at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:820)

  31. at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:865)

  32. ... 8 more

  33. 

  34. 14/03/05 05:35:31 INFO mapred.JobClient: Task Id : attempt_201402280238_0011_m_000000_1, Status : FAILED

  35. java.lang.RuntimeException: java.lang.ClassNotFoundException: mapreduce.mapreduce$MyMapper

  36. at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:867)

  37. at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:199)

  38. at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:719)

  39. at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)

  40. at org.apache.hadoop.mapred.Child$4.run(Child.java:255)

  41. at java.security.AccessController.doPrivileged(Native Method)

  42. at javax.security.auth.Subject.doAs(Subject.java:415)

  43. at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)

  44. at org.apache.hadoop.mapred.Child.main(Child.java:249)

  45. Caused by: java.lang.ClassNotFoundException: mapreduce.mapreduce$MyMapper

  46. at java.net.URLClassLoader$1.run(URLClassLoader.java:366)

  47. at java.net.URLClassLoader$1.run(URLClassLoader.java:355)

  48. at java.security.AccessController.doPrivileged(Native Method)

  49. at java.net.URLClassLoader.findClass(URLClassLoader.java:354)

  50. at java.lang.ClassLoader.loadClass(ClassLoader.java:425)

  51. at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)

  52. at java.lang.ClassLoader.loadClass(ClassLoader.java:358)

  53. at java.lang.Class.forName0(Native Method)

  54. at java.lang.Class.forName(Class.java:270)

  55. at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:820)

  56. at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:865)

  57. ... 8 more

  58. 

  59. 14/03/05 05:35:37 INFO mapred.JobClient: Task Id : attempt_201402280238_0011_m_000000_2, Status : FAILED

  60. java.lang.RuntimeException: java.lang.ClassNotFoundException: mapreduce.mapreduce$MyMapper

  61. at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:867)

  62. at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobContext.java:199)

  63. at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:719)

  64. at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)

  65. at org.apache.hadoop.mapred.Child$4.run(Child.java:255)

  66. at java.security.AccessController.doPrivileged(Native Method)

  67. at javax.security.auth.Subject.doAs(Subject.java:415)

  68. at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)

  69. at org.apache.hadoop.mapred.Child.main(Child.java:249)

  70. Caused by: java.lang.ClassNotFoundException: mapreduce.mapreduce$MyMapper

  71. at java.net.URLClassLoader$1.run(URLClassLoader.java:366)

  72. at java.net.URLClassLoader$1.run(URLClassLoader.java:355)

  73. at java.security.AccessController.doPrivileged(Native Method)

  74. at java.net.URLClassLoader.findClass(URLClassLoader.java:354)

  75. at java.lang.ClassLoader.loadClass(ClassLoader.java:425)

  76. at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)

  77. at java.lang.ClassLoader.loadClass(ClassLoader.java:358)

  78. at java.lang.Class.forName0(Native Method)

  79. at java.lang.Class.forName(Class.java:270)

  80. at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:820)

  81. at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:865)

  82. ... 8 more

  83. 

  84. 14/03/05 05:35:49 INFO mapred.JobClient: Job complete: job_201402280238_0011

  85. 14/03/05 05:35:49 INFO mapred.JobClient: Counters: 7

  86. 14/03/05 05:35:49 INFO mapred.JobClient:   Job Counters 

  87. 14/03/05 05:35:49 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=33927

  88. 14/03/05 05:35:49 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0

  89. 14/03/05 05:35:49 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0

  90. 14/03/05 05:35:49 INFO mapred.JobClient:     Launched map tasks=4

  91. 14/03/05 05:35:49 INFO mapred.JobClient:     Data-local map tasks=4

  92. 14/03/05 05:35:49 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=0

  93. 14/03/05 05:35:49 INFO mapred.JobClient:     Failed map tasks=1
复制代码


我们需要分析上面是什么错误，其实就是找不到类，为什么会找不到类，是我们打包问题吗？是因为没有环境不正确吗？
是的，这两方面可能都有问题，那么该如何解决
首先来看看我们是如何打包的：

1.单击map.java文件，弹出快捷菜单，选择Export。



2.第一步之后，我们会看到下面，选择Java下面的JAR file。



3.我们单击Next，进入JAR Export选择我们要打的包即可。




4.单击next下一步，然后在下一步，咱们会看到主类，我们选择主类到Main class



5.选择主类到Main class，我们会看到mapreduce.map，其实这是 包名.类型



6.到这一步，单击finish。我们看到了这个包。并且看到它的大小。

打包完毕，我们放到集群上运行：
出现下面情况
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
。
解决：
对于上面我们是否可以采用另外一种方法：答案是可以的。
就是我们，打成java运行jar包，是绝对可行的。


我们打完包之后，我们会看到，运行包与前面包进行对比，一个K级别，一个是M级别。


总结：
对于上面产生的问题，通用的方法就是我们可以打包成运行包，在集群上运行是没有问题的。打成运行包，是我们把程序中相关的包都打进运行包中，虽然有点冗余，可以解决初学者面临的这个问题。
但是不适用开发环境和运行环境，版本不一致的情况


关注公众号，获取大数据、人工智能20套、区块链资源5阶段等资源，随时更新，获取最新技术资源
回复

使用道具 举报

自定义广告语

已有(6)人评论

跳转到指定楼层
正序浏览
shlmw 发表于 2014-10-13 15:37:21
有点类似windows的LIB和DLL的味道~
回复

使用道具 举报

非鱼 发表于 2015-3-29 02:15:47
今天也遇到这种情况，在eclipse上无法运行，而在打包后就没问题了，eclipse错误提示：
15/03/28 10:47:42 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
15/03/28 10:47:42 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
15/03/28 10:47:42 INFO input.FileInputFormat: Total input paths to process : 1
15/03/28 10:47:42 INFO mapred.JobClient: Running job: job_local_0001
15/03/28 10:47:42 INFO input.FileInputFormat: Total input paths to process : 1
15/03/28 10:47:43 INFO mapred.MapTask: io.sort.mb = 100
15/03/28 10:47:43 WARN mapred.LocalJobRunner: job_local_0001
java.lang.OutOfMemoryError: Java heap space
        at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:781)
        at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:524)
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:613)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:305)
        at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:177)
15/03/28 10:47:43 INFO mapred.JobClient:  map 0% reduce 0%
15/03/28 10:47:43 INFO mapred.JobClient: Job complete: job_local_0001
15/03/28 10:47:43 INFO mapred.JobClient: Counters: 0
回复

使用道具 举报

peterzor 发表于 2015-10-21 09:29:37
mark，学习了
回复

使用道具 举报

mc123612997 发表于 2016-4-5 19:09:40
其实还有设置配置文件之后，打jar包读取读取不到的情况，这时候就要把配置文件复制到jar包的跟路径下就可以了
回复

使用道具 举报

Alkaloid0515 发表于 2016-4-5 19:12:10
mc123612997 发表于 2016-4-5 19:09
其实还有设置配置文件之后，打jar包读取读取不到的情况，这时候就要把配置文件复制到jar包的跟路径下就可以 ...

配置文件？能否详细说说，为啥会这样
回复

使用道具 举报

mc123612997 发表于 2016-4-6 11:17:37
Alkaloid0515 发表于 2016-4-5 19:12
配置文件？能否详细说说，为啥会这样

一般我们的配置文件都在resources这个文件夹里边，和src平级，但是打成jar包的时候，jar不会读取，所以我就经常手动移配置文件的位置了
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
pig2

超级版主

关注

  • 2332

    主题

  • 3342

    帖子

  • 1972

    粉丝

欢迎大家如about云官方2群322273151，更新咨询，更新资源，随时关注
TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2024 About云-梭伦科技 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000