Hadoop的MAP-REDUCE相关问题及知识
本帖最后由 pig2 于 2014-1-9 09:27 编辑一MAP-REDUCE调试问题
1.可以在eclipse中单步调试MR的调度代码，比如MAIN和RUN
2.对于MAP-REDUCE的代码调试就比较麻烦，可在MAP-RED方法中加入自定义的调试计数器，方便把调试的代码打印出来
二MAP-REDUCE 实例指导
三MAP-REDUCE遇到的权限问题Linux平台完全分布模式下Hadoop实例wordcount在eclipse编写运行权限问题：
Exception in thread "main" java.io.IOException: 权限不够
at java.io.UnixFileSystem.createFileExclusively(Native Method)
at java.io.File.createTempFile(File.java:1879)
at org.apache.hadoop.util.RunJar.main(RunJar.java:115)
因为Eclipse使用hadoop插件提交作业时，会默认以 DrWho 身份去将作业写入hdfs文件系统中，对应的也就是 HDFS 上的/user/xxx ,例如路径为/user/hadoop , 由于 DrWho 用户对hadoop目录并没有写入权限，所以导致异常的发生。
解决方法(一)：放开 hadoop 目录的权限
命令如下 ：$ hadoop fs -chmod 777 /user/hadoop
解决方法(二)：
到服务器上修改hadoop的配置文件：conf/hdfs-core.xml, 找到或新增 dfs.permissions 的配置项 , 将value值改为 false.
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
修改完要重启下hadoop的进程才能生效四hadoop 404 Not Found /jobtracker.jsp
1.问题出在build 目录下面的webapps目录存在。重新命名了build：move build build.bak。然后重新启动start-all.sh。(注意所有的datanode也要全部重新命名，否则还是会有问题），接没有问题了。
2.有的没有build目录，可能和版本有关系
如果JDK不是1.7的，请改成1.7的试试
注意修改conf/hadoop-env.sh文件
页:
[1]