分享

sqoop2(如sqoop1.99.3)单独安装?

ywdlucking 发表于 2015-3-4 15:24:04 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 10 49140

网上说sqoop可以单独安装不需要hadoop环境,只需要添加依赖包。
谁有这方面的资料吗?
我将hadoop下的/share/hadoop/*.jar拷贝到sqoop的server/lib下面
然后启动server
[root@msg-02 bin]# ./sqoop.sh server start
Sqoop home directory: /usr/lib/sqoop
Setting SQOOP_HTTP_PORT:     12000
Setting SQOOP_ADMIN_PORT:     12001
Using   CATALINA_OPTS:
Adding to CATALINA_OPTS:    -Dsqoop.http.port=12000 -Dsqoop.admin.port=12001
Using CATALINA_BASE:   /usr/lib/sqoop/server
Using CATALINA_HOME:   /usr/lib/sqoop/server
Using CATALINA_TMPDIR: /usr/lib/sqoop/server/temp
Using JRE_HOME:        /usr
Using CLASSPATH:       /usr/lib/sqoop/server/bin/bootstrap.jar
[root@msg-02 bin]#


启动客户端

[root@msg-02 bin]# ./sqoop.sh client
Sqoop home directory: /usr/lib/sqoop
Sqoop Shell: Type 'help' or '\h' for help.

sqoop:000> set server --host msg-02 --port 12000 --webapp sqoop
Server is set successfully
sqoop:000>


看起来好像成功了。。。
sqoop:000> show version --all
client version:
  Sqoop 1.99.3 revision 2404393160301df16a94716a3034e31b03e27b0b
  Compiled by mengweid on Fri Oct 18 14:15:53 EDT 2013
Exception has occurred during processing command
Exception: com.sun.jersey.api.client.UniformInterfaceException Message: GET http://msg-02:12000/sqoop/version returned a response status of 404 Not Found
sqoop:000>

服务器启动有问题。。。

谁有这方面的安装经验吗?

已有(10)人评论

跳转到指定楼层
jixianqiuxue 发表于 2015-3-4 16:12:58
不好搞,这个有点类似二次开发了。
虽然一些包被引用了,但是程序中存在一些环境变量,所以只是添加包,这里面能看到successfully,已经是万幸了。
需要明白他们的原理,进一步模拟sqoop的环境。
目前能找到的配置文件中需要的环境变量,都需要齐全
回复

使用道具 举报

ywdlucking 发表于 2015-3-4 16:19:19
jixianqiuxue 发表于 2015-3-4 16:12
不好搞,这个有点类似二次开发了。
虽然一些包被引用了,但是程序中存在一些环境变量,所以只是添加包,这 ...

嗯,是这样,环境不知道该怎么配。。。网上不好找这方面的资料
回复

使用道具 举报

jixianqiuxue 发表于 2015-3-4 16:28:57
ywdlucking 发表于 2015-3-4 16:19
嗯,是这样,环境不知道该怎么配。。。网上不好找这方面的资料

找一个sqoop部署文档即可,先尝试配置环境变量。当然需要本地有这么一个包,最好在Linux环境下。
sqoop、sqoop2介绍及如何使用

Ubuntu14 server + Hadoop2.2.0环境下Sqoop1.99.3部署记录



回复

使用道具 举报

ywdlucking 发表于 2015-3-4 16:34:58
jixianqiuxue 发表于 2015-3-4 16:28
找一个sqoop部署文档即可,先尝试配置环境变量。当然需要本地有这么一个包,最好在Linux环境下。
sqoop ...

在hadoop集群上配置sqoop没有问题,现在就是想把它独立出来像一个工具来使用,而不依靠hadoop集群
回复

使用道具 举报

jixianqiuxue 发表于 2015-3-4 17:02:32
ywdlucking 发表于 2015-3-4 16:34
在hadoop集群上配置sqoop没有问题,现在就是想把它独立出来像一个工具来使用,而不依靠hadoop集群

不需要搭建环境,只是模拟。有安装包即可。
回复

使用道具 举报

ywdlucking 发表于 2015-3-5 13:48:53
回复

使用道具 举报

aola 发表于 2015-4-16 14:39:54
回复

使用道具 举报

aola 发表于 2015-4-16 14:44:06
sqoop:000> show version -all                          
client version:
  Sqoop 1.99.3 revision 2404393160301df16a94716a3034e31b03e27b0b
  Compiled by mengweid on Fri Oct 18 14:15:53 EDT 2013
Exception has occurred during processing command
Exception: com.sun.jersey.api.client.UniformInterfaceException Message: GET http://10.0.252.10:12000/sqoop/version returned a response status of 404 Not Found
楼主后来有解决吗,求分享下经验或者教程~~  万分感谢
回复

使用道具 举报

langke93 发表于 2015-4-16 20:02:32
aola 发表于 2015-4-16 14:39
sqoop 1.99.3安装,server 起来, catalin.out 日志没报错,但 client show version  -all 报错  404 错误 ...

Protocol安装看看是不是有问题,jdk版本是不是1.7
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条