LoveJW 发表于 2014-11-18 09:50:44

eclipse运行hadoop报错


网上搜了一下说本地要配置hadoop_home变量指向hadoop安装路径，但是我本地没装啊，我的hadoop是在linux服务器上，这怎么改？

bioger_hit 发表于 2014-11-18 09:57:36

本帖最后由 pig2 于 2014-11-18 11:12 编辑

本地环境也需要配置hadoop环境，首先现在一个和Linux环境一致的安装包，然后下载如下内容，最后配置hadoop_home。





缺少hadoop.dll,以及winutils.exe
（1）缺少winutils.exe回报如下错误：
Could not locate executable null \bin\winutils.exe in the hadoop binaries
http://www.aboutyun.com/data/attachment/forum/201407/04/185557yzhhjjoxio3licch.jpg





windows通过hadoop-eclipse-plugin插件远程开发hadoop运行mapreduce遇到问题及解决

（2）缺少hadoop.dll
错误如下：
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
解决办法：
1.首先将hadoop.dll放到hadoop的bin目录下，如下图所示
http://www.aboutyun.com/data/attachment/forum/201407/04/190309lsyw7tf8txsc5wh5.png


2.配置hadoop home及path

path，这里使用的是绝对路径，path里面配置的是hadoop的bin路径。配置完毕，切忌重启机器
如下图所示

http://www.aboutyun.com/data/attachment/forum/201407/06/085742g8k88kiggkd7q6d6.png

http://www.aboutyun.com/data/attachment/forum/201407/04/190607gvvzvh54bb1plpzz.png

包及插件的下载，可以在这里面找
hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载(持续更新)

LoveJW 发表于 2014-11-18 11:39:20

bioger_hit 发表于 2014-11-18 09:57
本帖最后由 pig2 于 2014-11-18 11:12 编辑
本地环境也需要配置hadoop环境，首先现在一个和Linux环境一致 ...

不对啊，我之前操作hdfs也有追加， hbase什么的都没报错 ，我现在再写追加就报错了

bioger_hit 发表于 2014-11-18 12:57:46

LoveJW 发表于 2014-11-18 11:39
不对啊，我之前操作hdfs也有追加， hbase什么的都没报错 ，我现在再写追加就报错了

建议楼主仔细检查，不管楼主以前是否正常，但是出现这个问题可能原因为：hadoop home没有配置，即使配置了也没有生效，然后就是缺少插件。
先确保上述没有问题，然后仔细检查自己的环境是否发生变化。

LoveJW 发表于 2014-11-18 14:27:36

bioger_hit 发表于 2014-11-18 12:57
建议楼主仔细检查，不管楼主以前是否正常，但是出现这个问题可能原因为：hadoop home没有配置，即使配置了 ...

但是这个环境变量要在哪配呢？总不能真的在本地装一个Hadoop吧？

howtodown 发表于 2014-11-18 14:41:35

LoveJW 发表于 2014-11-18 14:27
但是这个环境变量要在哪配呢？总不能真的在本地装一个Hadoop吧？

楼主想的有点麻烦了，确实是在本地配置hadoop，但是不像在Linux集群一样那么麻烦。

1.首先把安装放到自己的D盘，或则其它盘。
2.然后在eclipse中，引入hadoop，详细参考
hadoop开发方式总结及操作指导

3.配置hadoop环境变量，具体配置，参考上文内容。

其它配置无需修改，比如配置文件、权限、ssh等这些都不需要管。之上完成上面三个步骤即可。注意版本和集群版本一致，否则会出问题，然后hadoop_home一定要配置正确。

LoveJW 发表于 2014-11-18 14:45:14

howtodown 发表于 2014-11-18 14:41
楼主想的有点麻烦了，确实是在本地配置hadoop，但是不像在Linux集群一样那么麻烦。

1.首先把安装放到自 ...

虽然报这个错了。。但是功能什么的都没问题，不管他会有什么影响吗？

goldtimes 发表于 2014-11-18 17:21:51

LoveJW 发表于 2014-11-18 14:45
虽然报这个错了。。但是功能什么的都没问题，不管他会有什么影响吗？


对于一些高手基本不会使用开发环境，直接使用txt开发，无须配置环境，代码写完直接可以放到集群上运行程序。
如果不想配置的话，对程序没有影响。关键看在什么位置运行程序

旧收音机 发表于 2014-11-20 19:16:40

高手太多了，人才太多

小熊007 发表于 2014-11-25 09:04:16

一般做hadoop MR开发的是怎么样子的开发？》真的用不到eclipse的么？》 那样的话会免去好多好多的麻烦，用eclipose 开发本身就好像一个错误一样，麻烦到死了，死了还不知道怎么死的 ，有时候程序卡壳，就调不出来吗
页: [1] 2
查看完整版本: eclipse运行hadoop报错