新手求指导。使用hadoop-eclipse-plugin执行MR程序和使用hadoop jar命令有区别吗

在windows上用eclipse写那个词频统计的demo，100M的文本文件，执行时间35秒左右。
导出jar包，直接放到linux上，用hadoop jar 命令执行，接近60秒。
请问可能的原因

没有区别的，一个是源码执行，一个是jar包执行。

顺便问一下，hadoop-eclipse-plugin工作原理是什么，是不是把写好的程序传到远端执行的？
那为什么会由执行时间的区别呢

yuwenge 发表于 2015-7-10 17:07
没有区别的，一个是源码执行，一个是jar包执行。

但是事实上我用jar包运行，执行时间变长好多，map的进度走的很慢。搞不懂

cwl12315 发表于 2015-7-10 17:13
但是事实上我用jar包运行，执行时间变长好多，map的进度走的很慢。搞不懂

hadoop-eclipse-plugin连接的是hdfs，跟yarn没有太大关系。
楼主可以运行jar几次，肯定每次运行也不同。
这个跟当前的资源有关系

yuwenge 发表于 2015-7-10 17:16
hadoop-eclipse-plugin连接的是hdfs，跟yarn没有太大关系。
楼主可以运行jar几次，肯定每次运行也不同。 ...

您好。我上传了一张SecureCrt执行的截图，是map的处理进度。虽然如您所说，资源不同使得每次执行所需时间不同，但这个时间应当是一种小波动状态才对。
我是运行了好多次的，基本上在eclipse上执行，时间35±5s左右
jar包运行，时间65±5s左右。

cwl12315 发表于 2015-7-10 17:25
您好。我上传了一张SecureCrt执行的截图，是map的处理进度。虽然如您所说，资源不同使得每次执行所需时间 ...

源码是需要编译才能执行，而且是远程执行
jar不需要，并且jar是直接在集群上运行。
这个时间是合理的

yuwenge 发表于 2015-7-10 17:16
hadoop-eclipse-plugin连接的是hdfs，跟yarn没有太大关系。
楼主可以运行jar几次，肯定每次运行也不同。 ...

要不这个问题先搁置。
我请教一下另一个关于lzo压缩的问题。
按照网上的一些博客文章，做了Lzo本地库和hadoop-Lzo的配置。
jar包可以在linux上执行，结果正确。
但是在windows上用eclipse执行，会报无法加载hadoop-lzo本地库的错误。
是不是因为windows上运行，java程序获取的java.library.path是windows的环境变量所致？
谢谢

yuwenge 发表于 2015-7-10 17:31
源码是需要编译才能执行，而且是远程执行
jar不需要，并且jar是直接在集群上运行。
这个时间是合理的

亲，您好像看错了，我是源码执行时间更短。
我是用Stopwatch统计job.waitForCompletion(true)的执行时间

cwl12315 发表于 2015-7-10 17:33
亲，您好像看错了，我是源码执行时间更短。
我是用Stopwatch统计job.waitForCompletion(true)的执行时间 ...

不清楚了，按理来说应该是源码。难道远程执行也暂用本地资源了，节省了远程资源？