Nutch-2.2.1系列之五以伪分布模式运行Nutch

问题导读
1.Nutch如何实现分布式或者伪分布式的方式运行？
2.Nutch安装hadoop需要修改哪些文件？
3.bin/crawlurls sina http://localhost:port/solr 2该如何解决？







         之前运行使用Nutch都是在本地模式下，也就是执行runtime/local/bin目录下的脚本命令。本地模式主要用来熟悉Nutch的一些基本命令和调试，要想真正的使用Nutch并且发挥Nutch并行抓取网页与分布式的优势，还是要在分布式或者伪分布式下安装和运行Nutch，这里所说的分布式或者伪分布式取决于Hadoop的安装方式，也就是Nutch要想以分布式或者伪分布式的方式运行，必须基于Hadoop使用。基于Hadoop使用，即使是在伪分布模式下运行Nutch，也依然会带来很多好处，比如可以通过Hadoop监控作业的进行情况、作业的完成状态、作业的管理等等.
        要想正确以伪分布模式部署运行Nutch，必须已经正确安装了Hadoop并且对core-site.xml、hdfs-site.xml、mapred-site.xml进行了相应的修改，具体如何以伪分布模式安装部署Hadoop，可以参考Hadoop的官方文档。在正确安装部署了Hadoop后，必须在路径中设置$HADOOP_HOME/bin，这样Nutch就可以使用hadoop命令运行作业了。

        在分布式或者伪分布式模式下，需要运行runtime/deploy/bin目录下的脚本。Deploy目录和local目录的文件时不同的，比如在deploy目录下不存在lib、logs、conf等目录，仅有bin目录和apache-nutch-2.2.1.job，bin目录与local下的bin目录不同，apache-nutch-2.2.1.job包含了运行Nutch所需的lib包、配置文件、插件等，这个文件是在编译Nutch源代码时生成的，当对Nutch根目录下的conf中文件做了修改时，需要运行antruntime使这些修改编译到apache-nutch-2.2.1.job中，或者使用解压缩软件直接修改配置文件。

        在以伪分布式模式运行Nutch时遇到了一下几个问题，其中两个是在本地模式下也出现过的。第一个就是HBase的jar包与使用的HBase不匹配的问题，解决办法时删除apache-nutch-2.2.1.job中的版本较低的hbase的jar包，将高版本的jar打包进apache-nutch-2.2.1.job中即可。第二个问题是http.agent.name没有被设置，该属性将影响Nutch的fetch阶段，同样的办法是打开apache-nutch-2.2.1.job，修改其中的nutch-site.xml即可。

        第三个问题是在运行抓取命令bin/crawlurls sina http://localhost:port/solr 2时出现的，错误信息如下。根据提示信息可知要抓取的url文件在HDFS上不存在，解决办法是运行hadoopfs –put命令将url文件放置到HDFS上，再次运行命令问题解决。

13/12/13 16:21:20 ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://127.0.0.1:9000/user/hadoop/urls
13/12/13 16:21:20 ERROR crawl.InjectorJob: InjectorJob: org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://127.0.0.1:9000/user/hadoop/urls
复制代码

        运行的结果可以通过在浏览器中查看，截图如下。作业分别为inject、generate、fetch、parse、update-table，这也对应了Nutch抓取网页的各个阶段。



相关文章推荐





Nutch-2.2.1系列之一Nutch简介||及jar包问题解决
http://www.aboutyun.com/thread-10048-1-1.html

Nutch-2.2.1系列之二编译部署Nutch及常见问题
http://www.aboutyun.com/thread-10049-1-1.html

Nutch-2.2.1系列之三Nutch配置文件||Nutch与Hbase结合使用时常见问题
http://www.aboutyun.com/thread-10050-1-1.html

Nutch-2.2.1系列之四Nutch抓取数据在HBase中的存储
http://www.aboutyun.com/thread-10051-1-1.html


Nutch-2.2.1系列之六Nutch与Solr的集成
http://www.aboutyun.com/thread-10079-1-1.html

Nutch-2.2.1系列之七过滤抓取数据
http://www.aboutyun.com/thread-10080-1-1.html

Nutch-2.2.1系列之八Nutch过滤URL实践
http://www.aboutyun.com/thread-10081-1-1.html