分享

hadoop2.2.0本地库问题。。

536528395 发表于 2015-2-11 19:13:14 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 11 16925
在网上下载的hadoop2.2.0自己编译成64位的。并且还编译了个lzo,都提示成功阿
但是提示这个??什么情况阿
my-hadoop@sh-b0-sv0375:~/my-hadoop/hadoop-2.2.0/distribution$ hadoop fs -ls /
15/02/11 19:06:02 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable




drwxr-xr-x 2 my-hadoop my-hadoop    4096 2015-02-10 18:31 ./drwxr-xr-x 4 my-hadoop my-hadoop    4096 2015-02-10 18:31 ../-rw-r--r-- 1 my-hadoop my-hadoop  106174 2015-02-10 18:31 libgplcompression.a-rw-r--r-- 1 my-hadoop my-hadoop    1116 2015-02-10 18:31 libgplcompression.la-rwxr-xr-x 1 my-hadoop my-hadoop   69387 2015-02-10 18:31 libgplcompression.so*-rwxr-xr-x 1 my-hadoop my-hadoop   69387 2015-02-10 18:31 libgplcompression.so.0*-rwxr-xr-x 1 my-hadoop my-hadoop   69387 2015-02-10 18:31 libgplcompression.so.0.0.0*-rw-r--r-- 1 my-hadoop my-hadoop  733130 2015-02-10 18:31 libhadoop.a-rw-r--r-- 1 my-hadoop my-hadoop 1486964 2015-02-10 18:31 libhadooppipes.alrwxrwxrwx 1 my-hadoop my-hadoop      18 2015-02-10 19:13 libhadoop.so -> libhadoop.so.1.0.0*-rwxr-xr-x 1 my-hadoop my-hadoop  411926 2015-02-10 18:31 libhadoop.so.1.0.0*-rw-r--r-- 1 my-hadoop my-hadoop  581944 2015-02-10 18:31 libhadooputils.a-rw-r--r-- 1 my-hadoop my-hadoop  273338 2015-02-10 18:31 libhdfs.alrwxrwxrwx 1 my-hadoop my-hadoop      16 2015-02-10 19:13 libhdfs.so -> libhdfs.so.0.0.0*-rwxr-xr-x 1 my-hadoop my-hadoop  181122 2015-02-10 18:31 libhdfs.so.0.0.0*my-hadoop@sh-b0-sv0375:~/my-hadoop/hadoop-2.2.0/distribution/lib/native$ file  libhadoop.so.1.0.0libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not strippedmy-hadoop@sh-b0-sv0375:~/my-hadoop/hadoop-2.2.0/distribution/lib/native$
这些是 native下面的东西。。。。
lzo的包:hadoop-lzo-0.4.20-SNAPSHOT.jar
我放在了 distribution/share/hadoop/common/lib 这个下面

求指导阿。。。。



已有(11)人评论

跳转到指定楼层
nextuser 发表于 2015-2-11 19:43:57
新的lib/native替换到集群中原来的lib/native,记得要修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh,在最后加上;

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"

回复

使用道具 举报

tustyao 发表于 2015-2-12 10:04:46
自学 问题多啊
回复

使用道具 举报

536528395 发表于 2015-2-12 10:29:07
nextuser 发表于 2015-2-11 19:43
新的lib/native替换到集群中原来的lib/native,记得要修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh,在最后 ...

我修改了,加上了你写的那句还是不行阿?还有什么地方 要改么?
lzo的包:hadoop-lzo-0.4.20-SNAPSHOT.jar
我放在了 distribution/share/hadoop/common/lib 这个下面
这个对么???
回复

使用道具 举报

s060403072 发表于 2015-2-12 10:42:12
536528395 发表于 2015-2-12 10:29
我修改了,加上了你写的那句还是不行阿?还有什么地方 要改么?
lzo的包:hadoop-lzo-0.4.20-SNAPSHOT.j ...

$HADOOP_HOME/lib:$HADOOP_HOME/lib/native
这两个路径下是否都有:
比如hadoop放在了/etc下面,那么路径就是
/etc/hadoop/lib
/etc/hadoop/lib/native
回复

使用道具 举报

xuanxufeng 发表于 2015-2-12 11:21:48
回复

使用道具 举报

tustyao 发表于 2015-2-12 11:32:23
回复

使用道具 举报

536528395 发表于 2015-2-12 13:42:19
xuanxufeng 发表于 2015-2-12 11:21
这里有很多包,可以尝试安装
hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载(持续更新)
...

我在你给的地址中下载了一个编译好的hadoop2.2.0;我配置完成后可以启动。但是 为什么还是报这个阿
my-hadoop@sh-b0-sv0372:~/my-hadoop/hadoop-2.2.0/distribution/libexec$ hadoop fs -mkdir /tmp
15/02/12 13:39:38 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
-mkdir: java.net.UnknownHostException: my-hadoop-cluster
Usage: hadoop fs [generic options] -mkdir [-p] <path> ...


回复

使用道具 举报

xuanxufeng 发表于 2015-2-12 13:43:35
536528395 发表于 2015-2-12 13:42
我在你给的地址中下载了一个编译好的hadoop2.2.0;我配置完成后可以启动。但是 为什么还是报这个阿
my-h ...

使用的root用户,还是什么用户,注意权限问题
回复

使用道具 举报

536528395 发表于 2015-2-12 14:23:58
xuanxufeng 发表于 2015-2-12 13:43
使用的root用户,还是什么用户,注意权限问题

我自己新建的用户阿。不是root用户。应该不是权限的问题把?我之前搭建也是新建的用户,只不过用的是公司编译好的包。
现在用的是网上下载别人编译的包,和我自己编译的包都不行。
my-hadoop@sh-b0-sv0375:~/my-hadoop/hadoop-2.2.0/distribution/lib/native$ file libhadoop.so.1.0.0
libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped

都是报这个:
15/02/12 14:23:43 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条