nutch分布式搭建

如何在eclipse中跑nutch:http://jiajun.iteye.com/blog/612023 这里没有翻译,不过应该能看懂

那么如何分布式搭建nutch1.0呢?

如果进行到这篇文章,就很容易了:hadoop搭建进阶,多台机器分布式搭建:http://jiajun.iteye.com/blog/624559

具体如何做呢,参看:How to Setup Nutch and Hadoop:http://wiki.apache.org/nutch/NutchHadoopTutorial

可惜的是现在的nutch-1.0使用的hadoop架构不是0.20.2,而是使用的0.19.1,配置文件上有些差别。

注意:如果要本地调试nutch1.0,那么需要把conf/hadoop-site.xml删除或者改为其他名字,否则的话就是配置好的环境下跑的nutch,某些在从机器上运行的程序不能够调试。

下面说说,如何搭建nutch1.0

一些环境这里就不介绍了,这篇文章是接着上面几篇文章的。

一、下载安装文件

1、下载目前最新版本 nutch-1.0:http://lucene.apache.org/nutch

2、下载tomcat6.0:http://tomcat.apache.org

3、解压下载的两个压缩文件到 /home/java

二、配置文件

1、修改conf/hadoop-site.xml (配置文件和前面的hadoop-0.20.2不一样,这里的版本0.19.1不够先进)

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

        <property>
                <name>fs.default.name</name>
                <value>hdfs://home0.hadoop:9000</value>
        </property>

        <property>
                <name>mapred.job.tracker</name>
                <value>home0.hadoop:9001</value>
     </property>

        <property>
                <name>dfs.name.dir</name>
                <value>/home/lighttpd/hadoopfs/name_0,/home/lighttpd/hadoopfs/name_1</val       ue>
                 <description>Determines where on the local filesystem the DFS name node
                        should store the name table. If this is a comma-delimited list of        directories
                        then the name table is replicated in all of the directories,
                        for redundancy.
                </description>
        </property>

        <property>
                <name>dfs.data.dir</name>
                <value>/home/lighttpd/hadoopfs/data_0,/home/lighttpd/hadoopfs/data_1</val       ue>
                <description>
                        Determines where on the local filesystem an DFS data node
                        should store its blocks. If this is a comma-delimited list of dir       ectories,
                        then data will be stored in all named directories, typically on d       ifferent devices.
                        Directories that do not exist are ignored.
                </description>
        </property>


</configuration>

 2、修改 JAVA_HOME变量指向

    在这个文件中hadoop-env.sh修改,前面配置hadoop已经讲过了。

4、设定主从节点    修改 conf/masters 文件,将其中的 localhost 改为 home0.hadoop 。

    修改 conf/slaves 文件。 删掉其中的localhost, 将我们的另两台机器 home1.hadoop、home2.hadoop 加入, 注意每个机器一行。

    masters里面的是主机节点,slaves里面是从机节点。

5、同样的配置拷贝到其他两台机器上去

scp -r nutch1.0 home1.hadoop:/home/yourname/

 注意:可能您每台机器的JAVA安装位置不一样,记得修改conf/hadoop-env.sh,设置export JAVA_HOME=正确路径

三、启动hadoop服务

1、格式化一个新的分布式文件系统

bin/hadoop namenode -format

 2、启动hadoop进程

$ bin/start-all.sh

四、抓取、建立索引

1、配置抓取入口

    在nutch1.0目录下新建文件夹:urls,在该文件夹下新建文件:urllist.txt,在该文件中写入抓取列表,比如:

http://lucene.apache.org

   写入分布式文件系统

bin/hadoop fs -put urls urls
 

2、设置URL过滤规则

    编辑conf/crawl-urlfilter.txt

# accept hosts in MY.DOMAIN.NAME
#+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/
+^http://([a-z0-9]*\.)*apache.org
 

3、执行抓取命令

bin/nutch crawl urls -dir crawledDir -depth 3 -threads 10

五、搜索环境

1、把上面索引后的文件拷贝到本地,速度会好些,也可在分布式系统中,参考文档中讲到

bin/hadoop fs -copyToLocal crawledDir  /home/yourname/nutch-1.0/crawledData
 

2、把 nutch-1.0.war 文件拷贝到tomcat下webapps目录,启动tomcat解压文件,再关闭服务

$ cp nutch-1.0.war /home/yourname/java/apache-tomcat-6.0.18/
$ cd  /home/lighttpd/java/apache-tomcat-6.0.18/
$ bin/startup.sh
浏览器输入:http://locahost:8080/nutch-1.0 
$ bin/shutdown.sh
 

3、修改/WEB-INF/classes/nutch-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<!--  /home/lighttpd/nutch-1.0/conf/search-dir/sina.com.cn -->
<configuration>

        <property>
                <name>searcher.dir</name>
                <value>/home/yourname/nutch-1.0/crawledDir</value>
        </property>

</configuration>

4、支持中文,在server.xml的 Connector中加入属性

URIEncoding="UTF-8" 
useBodyEncodingForURI="true"
 

5、启动tomcat

$ cd  /home/lighttpd/java/apache-tomcat-6.0.18/
$ bin/startup.sh
 

6、浏览器输入:http://locahost:8080/nutch-1.0 搜索试试

六、注意:

1、这里搜索的索引文件是拷贝到本地的文件,也可以搭建分布式索引文件

2、还可以搭建索引文件在不同的机器上,搜索时候从各个索引文件合并搜索结果

3、eclipse工程中的对应配置文件,都做设置的话,会运行在分布式系统中,如想调试运行在从机器上程序,需要采用本地运行方式,把hadoop-site.xml文件挪走,或者改名。

相关推荐