pig2 发表于 2015-5-12 20:20:42

hadoop出现hadoop2.X部署警告: Unable to load native-hadoop library 总结

本帖最后由 pig2 于 2015-5-12 21:15 编辑


很多同学在安装部署的时候,遇到了问题 Unable to load native-hadoop library 总结。
原因1:64位使用了32本地库

案例1:
# hadoop fs -ls /
14/12/09 19:43:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
#

原因是hadoop-2.6.0.tar.gz安装包是在32位机器上编译的,64位的机器加载本地库.so文件时出错,不影响使用。
解决:
1、重新编译源码后将新的lib/native替换到集群中原来的lib/native

这里替换完毕,可是还是出现,在增加下面配置。

2、修改hadoop-env.sh ,增加
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native"



上面解决办法比较正统的,当然还有其他办法

修改一下core-site.xml这个配置http://www.aboutyun.com/data/attachment/forum/201311/26/231739zfg959wmg9x8mdx9.png


###########################################
上面是部署开发,这里是开发环境

错误如下:
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
解决办法:
1.首先将hadoop.dll放到hadoop的bin目录下,如下图所示
http://www.aboutyun.com/data/attachment/forum/201407/04/190309lsyw7tf8txsc5wh5.png





韩克拉玛寒 发表于 2015-5-13 09:34:00

赞同,不我过也是2.6版本的。我的是64位系统,就编译了,之后没有配置其他的。就解决那个问题。

也许那样飞 发表于 2015-5-13 23:32:13

非常感谢,正好遇到这个问题了,,,,

咖啡blue 发表于 2015-5-14 17:36:18

Eclipse运行hdfs api 时发现这个问题,只需要在bin下添加hadoop.dll和winutils.exe吗?

credit 发表于 2016-3-15 11:20:18

楼主是否有2.6版本的编译后的native 急求

天使流_p0y6m 发表于 2018-3-27 15:59:12

咖啡blue 发表于 2015-5-14 17:36
Eclipse运行hdfs api 时发现这个问题,只需要在bin下添加hadoop.dll和winutils.exe吗?

你好,问题有解决了吗

hyj 发表于 2018-3-27 16:59:50

天使流_p0y6m 发表于 2018-3-27 15:59
你好,问题有解决了吗

只要版本对应,添加正确,一般没有问题的。
页: [1]
查看完整版本: hadoop出现hadoop2.X部署警告: Unable to load native-hadoop library 总结