专题 › Sqoop › sqoop远程调用

ywdlucking 发表于 2015-3-2 13:37:28

sqoop远程调用

sqoop通过map-reduce任务来传输数据，依赖于hadoop，大多数安装都是在hadoop集群机下面,
如果想安装在非hadoop集群机器下，通过远程调用来实现数据传输，怎么去实现啊？

xuanxufeng 发表于 2015-3-2 13:57:47

具体场景是什么？想开发？还是什么用途

ywdlucking 发表于 2015-3-2 14:06:28

xuanxufeng 发表于 2015-3-2 13:57
具体场景是什么？想开发？还是什么用途

场景是四台虚拟机组成的hadoop已经搭建好，使用的sqoop版本是1.99.3，现在由于需求，想把sqoop安装在另一台非hadoop集群环境下的机器上，所以不太清楚怎么去实现

desehawk 发表于 2015-3-2 14:07:44

本帖最后由 desehawk 于 2015-3-2 14:08 编辑

sqoop可以远程调试，远程调用应该也可以。但是还需要hadoop的一些包，也就是能让sqoop运行起来的所有包。但是并不需要搭建hadoop集群。

ywdlucking 发表于 2015-3-2 14:17:00

desehawk 发表于 2015-3-2 14:07
sqoop可以远程调试，远程调用应该也可以。但是还需要hadoop的一些包，也就是能让sqoop运行起来的所有包。但 ...

嗯嗯，非常感谢，也就是说sqoop搭建在hadoop下只是依赖其jar包，而不是需要hadoop环境？是这样吗？但是如果将mysql数据导入到hdfs下面的话，不是又要hadoop集群了吗？这一点是我很迷惑的地方

w123aw 发表于 2015-3-2 14:19:20

ywdlucking 发表于 2015-3-2 14:06
场景是四台虚拟机组成的hadoop已经搭建好，使用的sqoop版本是1.99.3，现在由于需求，想把sqoop安装在另一 ...

新手不建议这么做。
sqoop可以脱离hadoop运行环境，但是不能缺少hadoop的包，而且需要匹配。
只是这个就够新手忙活的了。
楼主的应该不是实际的需求吧
最好安装在hadoop环境中

ywdlucking 发表于 2015-3-2 14:27:04

w123aw 发表于 2015-3-2 14:19
新手不建议这么做。
sqoop可以脱离hadoop运行环境，但是不能缺少hadoop的包，而且需要匹配。
只是这个 ...

这样做的却让新手难受，不过这是我调研的一个任务，因为想把sqoop集成到一个工具中，而这个工具一般都是安装在单独的机器上，所以才会有这样的要求，sqoop可以脱离hadoop运行环境？那又怎么讲数据导入hdfs中呢？

desehawk 发表于 2015-3-2 14:27:30

ywdlucking 发表于 2015-3-2 14:17
嗯嗯，非常感谢，也就是说sqoop搭建在hadoop下只是依赖其jar包，而不是需要hadoop环境？是这样吗？但是如 ...

导数据就是导入到hdfs上，所以hadoop集群是必须的，而且需要跟sqoop版本一致。如果真想远程，可以看看远程调试


搭建sqoop的eclipse调试环境

ywdlucking 发表于 2015-3-2 14:45:34

desehawk 发表于 2015-3-2 14:27
导数据就是导入到hdfs上，所以hadoop集群是必须的，而且需要跟sqoop版本一致。如果真想远程，可以看看远 ...

{:soso_e113:}非常感谢你的资料，先去尝试一下！！！！

查看完整版本: sqoop远程调用