分享

eclipse运行hadoop报错

LoveJW 发表于 2014-11-18 09:50:44 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 11 15095
hadoop.png
网上搜了一下说本地要配置hadoop_home变量指向hadoop安装路径,但是我本地没装啊,我的hadoop是在linux服务器上,这怎么改?

已有(11)人评论

跳转到指定楼层
bioger_hit 发表于 2014-11-18 09:57:36
本帖最后由 pig2 于 2014-11-18 11:12 编辑
本地环境也需要配置hadoop环境,首先现在一个和Linux环境一致的安装包,然后下载如下内容,最后配置hadoop_home。





缺少hadoop.dll,以及winutils.exe
(1)缺少winutils.exe回报如下错误:
Could not locate executable null \bin\winutils.exe in the hadoop binaries






windows通过hadoop-eclipse-plugin插件远程开发hadoop运行mapreduce遇到问题及解决

(2)缺少hadoop.dll
错误如下:
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
解决办法:
1.首先将hadoop.dll放到hadoop的bin目录下,如下图所示



2.配置hadoop home及path

path,这里使用的是绝对路径,path里面配置的是hadoop的bin路径。配置完毕,切忌重启机器
如下图所示





包及插件的下载,可以在这里面找
hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载(持续更新)
回复

使用道具 举报

LoveJW 发表于 2014-11-18 11:39:20
bioger_hit 发表于 2014-11-18 09:57
本帖最后由 pig2 于 2014-11-18 11:12 编辑
本地环境也需要配置hadoop环境,首先现在一个和Linux环境一致 ...

不对啊,我之前操作hdfs也有追加, hbase什么的都没报错 ,我现在再写追加就报错了
回复

使用道具 举报

bioger_hit 发表于 2014-11-18 12:57:46
LoveJW 发表于 2014-11-18 11:39
不对啊,我之前操作hdfs也有追加, hbase什么的都没报错 ,我现在再写追加就报错了
建议楼主仔细检查,不管楼主以前是否正常,但是出现这个问题可能原因为:hadoop home没有配置,即使配置了也没有生效,然后就是缺少插件。
先确保上述没有问题,然后仔细检查自己的环境是否发生变化。
回复

使用道具 举报

LoveJW 发表于 2014-11-18 14:27:36
bioger_hit 发表于 2014-11-18 12:57
建议楼主仔细检查,不管楼主以前是否正常,但是出现这个问题可能原因为:hadoop home没有配置,即使配置了 ...

但是这个环境变量要在哪配呢?总不能真的在本地装一个Hadoop吧?
回复

使用道具 举报

howtodown 发表于 2014-11-18 14:41:35
LoveJW 发表于 2014-11-18 14:27
但是这个环境变量要在哪配呢?总不能真的在本地装一个Hadoop吧?
楼主想的有点麻烦了,确实是在本地配置hadoop,但是不像在Linux集群一样那么麻烦。

1.首先把安装放到自己的D盘,或则其它盘。
2.然后在eclipse中,引入hadoop,详细参考
hadoop开发方式总结及操作指导

3.配置hadoop环境变量,具体配置,参考上文内容。

其它配置无需修改,比如配置文件、权限、ssh等这些都不需要管。之上完成上面三个步骤即可。注意版本和集群版本一致,否则会出问题,然后hadoop_home一定要配置正确。
回复

使用道具 举报

LoveJW 发表于 2014-11-18 14:45:14
howtodown 发表于 2014-11-18 14:41
楼主想的有点麻烦了,确实是在本地配置hadoop,但是不像在Linux集群一样那么麻烦。

1.首先把安装放到自 ...

虽然报这个错了。。但是功能什么的都没问题,不管他会有什么影响吗?
回复

使用道具 举报

goldtimes 发表于 2014-11-18 17:21:51
LoveJW 发表于 2014-11-18 14:45
虽然报这个错了。。但是功能什么的都没问题,不管他会有什么影响吗?

对于一些高手基本不会使用开发环境,直接使用txt开发,无须配置环境,代码写完直接可以放到集群上运行程序。
如果不想配置的话,对程序没有影响。关键看在什么位置运行程序
回复

使用道具 举报

旧收音机 发表于 2014-11-20 19:16:40
高手太多了,人才太多
回复

使用道具 举报

小熊007 发表于 2014-11-25 09:04:16
一般做hadoop MR开发的是怎么样子的开发?》  真的用不到eclipse的么?》 那样的话会免去好多好多的麻烦,用eclipose 开发本身就好像一个错误一样,麻烦到死了,死了还不知道怎么死的 ,有时候程序卡壳,就调不出来吗
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条