hadoop开发方式总结及操作指导

在myEclipse上已经可以正常的查看DFS 文件，但是每次run on hadoop 的时候都会在 job.waitForCompletion（true） 这报空指针异常。


跟9楼同样的问题，有大神知道怎么解决吗？



详细报错如下：

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
        at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Native Method)
        at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode(NativeIO.java:524)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkOneDirWithMode(RawLocalFileSystem.java:473)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkdirsWithOptionalPermission(RawLocalFileSystem.java:526)
        at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:504)
        at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:305)
        at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:133)
        at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:144)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308)
        at Test_1.run(Test_1.java:81)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at Test_1.main(Test_1.java:117)

6910 发表于 2015-10-19 23:10
在myEclipse上已经可以正常的查看DFS 文件，但是每次run on hadoop 的时候都会在 job.waitForCompletion（t ...

出现org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z .

第二种配置好之后不能Run，不知道什么问题

不错,楼主好人

感谢分享，顶你一贴！

我将web项目打成war包在linux系统上运行提示232706 [http-bio-8080-exec-1-SendThread(BD04:2181)] DEBUG org.apache.zookeeper.ClientCnxn  - Reading reply sessionid:0x44fda7541862799, packet:: clientPath:null serverPath:null finished:false header:: 37,4  replyHeader:: 37,55838155312,-101  request:: '/hbase/meta-region-server,F  response::  
232707 [http-bio-8080-exec-1] DEBUG org.apache.hadoop.hbase.zookeeper.ZKUtil  - hconnection-0x41ed426-0x44fda7541862799, quorum=BD04.bd.bjtel:2181,BD03.bd.bjtel:2181,BD02.bd.bjtel:2181,BD01.bd.bjtel:2181,BD05.bd.bjtel:2181, baseZNode=/hbase Unable to get data of znode /hbase/meta-region-server because node does not exist (not an error)
Unable to get data of znode /hbase/meta-region-server because node does not exist (not an error)
请问这个问题是怎么回事？？

万恶的魔法 发表于 2016-5-6 18:46
我将web项目打成war包在linux系统上运行提示232706 [http-bio-8080-exec-1-SendThread(BD04:2181)] DEBUG o ...

baseZNode=/hbase Unable to get data of znode /hbase/meta-region-server because node does not exist (not an error)确保没有拼错

万恶的魔法 发表于 2016-5-6 18:46
我将web项目打成war包在linux系统上运行提示232706 [http-bio-8080-exec-1-SendThread(BD04:2181)] DEBUG o ...

/hbase/meta-region-server
看下根目录是否是 /hbase/，在 /hbase/meta-region-server 这个下面找不到节点

muyannian 发表于 2016-5-6 20:25
/hbase/meta-region-server
看下根目录是否是 /hbase/，在 /hbase/meta-region-server 这个下面找不到 ...

不是，这个是从debug上摘下来的，根目录下没有"/hbase"   ，我这样配的，你看有什么问题吗？？

求助个问题，我在window的eclipse引入了插件，可以通过插件浏览HDFS上的文件，但是无法通过run on hadoop把任务提交到hadoop集群中去执行，我没有导入配置文件，也没有在Runner类中手动设置配置信息，我记得插件会帮我把需要提交集群的所需的配置设置好，这是啥原因呢？希望指教一下，谢谢。
附上我的Runner类：