Lucene + Hadoop

PDF文档下载

一、 概述

在网页抓取项目中通常最缺的是IP地址资源，大多数网站对抓取会做些限制（比如同一IP地址的线程数限制，再比如几分钟之内同一IP地址的页面访问次数限制）。

二、设计图

上网客户端1 。。。上网客户端m是分散在各处能直接上网的机器，这些上网客户端机器定时向状态服务区报告自己的心跳。

抓取客户端 1 。。。抓取客户端 n 是集中放在某处的抓取机器。抓取客户端机器定时向状态服务器获取可用上网客户端列表，然后抓取客户端机器直接与上网客户端建立连接，抓取客户端机器直接通过上网客户端来抓取网页。

三、实现方案

方案一： 在上网客户端机器上安装共享上网代理软件比如ccproxy，抓取客户端以代理的方式通过上网机器抓取网页。该方案简单易行，无技术障碍。

方案二：

http://www.blogjava.net/nianzai/

一、安装

1、安装虚拟机vmware6.5.2

2、在虚拟机下安装LinuxFedora14

3、安装jdkjdk-6u22-linux-i586.bin安装路径为：/home/nianzai/jdk1.6.0_22

4、安装hadoophadoop-0.20.2.tar.gz安装路径为：/home/nianzai/hadoop-0.20.2

5、安装zookeeperzookeeper-3.3.1.tar.gz安装路径为：/home/nianzai/zookeeper-3.3.1

二、配置

1、Linux配置

ssh-keygen–trsa-P''

cd.ssh

/etc/hosts里增加 192.168.195.128 nz 并且将127.0.0.1 改为 192.168.195.128

2、hadoop配置

hadoop-env.sh

core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/tmp/hadoop-nianzai</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://nz:9000</value>

</property>

hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>nz:9001</value>

</property>

sh hadoop namenode -format

shstart-all.sh

3、zookeeper配置

zoo.cfg

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/home/nianzai/zkdata

sh zkServer.sh start

4、hbase配置

hbase-env.sh

exportJAVA_HOME=/home/nianzai/jdk1.6.0_22

hbase-site.xml

<configuration>

<property>

<name>hbase.rootdir</name>

<value>hdfs://nz:9000/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.master.port</name>

<value>60000</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>nz</value>

</property>

regionservers nz

sh start-hbase.sh

http://code.google.com/p/nutla/

1、概述

不管程序性能有多高，机器处理能力有多强，都会有其极限。能够快速方便的横向与纵向扩展是Nut设计最重要的原则。

Nut是一个Lucene+Hadoop分布式搜索框架，能对千G以上索引提供7*24小时搜索服务。在服务器资源足够的情况下能达到每秒处理100万次的搜索请求。

2、特新

a、热插拔

b、可扩展

c、高负载

d、易使用,与现有项目无缝集成

e、支持排序

f、7*24服务

3、搜索流程

Nut由Index、Search、Client、Cache和DB五部分构成。(Cache默认使用memcached,DB默认使用hbase)

用户发起搜索请求给由Nut Client构成的集群，由某个Nut Client根据搜索条件查询Cache服务器是否有该缓存，如果有缓存根据缓存的文档id直接从DB读取数据，如果没有缓存将随机选择一组搜索服务器组 (Search Group i),将查询条件同时发给该组搜索服务器组里的n台搜索服务器，搜索服务器将搜索结果返回给Nut Client由其排序，取出当前页文档id，将搜索条件和当前文档id缓存，同时从DB读取数据。

4、索引流程

HadoopMapper/Reducer建立索引。再将索引从HDFS分发到各个索引服务器。

对索引的更新分为两种：删除和添加（更新分解为删除和添加）。

a、删除

在HDFS上删除索引，将生成的*.del文件分发到所有的索引服务器上去或者对HDFS索引目录删除索引再分发到对应的索引服务器上去。

b、添加

新添加的数据用另一台服务器来生成。

5、Zookeeper服务器状态管理策略

在架构设计上通过使用多组搜索服务器可以支持每秒处理100万个搜索请求。 每组搜索服务器能处理的搜索请求数在1万—1万5千之间。如果使用100组搜索服务器，理论上每秒可处理100万个搜索请求。

假如每组搜索服务器有100份索引放在100台正在运行中搜索服务器(run)上，那么将索引按照如下的方式放在备用中搜索服务器(bak)上：index1,index2,index3,index4,index5,index6,index7,index8,index9,index10放在B1上，index6,index7,index8,index9,index10,index11,index12,index13,index14,index15放在B2上。。。。。。index96,index97,index98,index99,index100,index5,index4,index3,index2,index1放在最后一台备用搜索服务器上。那么每份索引会存在3台机器中（1份正在运行中，2份备份中）。

备用中的搜索服务器会定时检查运行中搜索服务器的状态。一旦发现与自己索引对应的服务器宕机就会向lock申请分布式锁，得到分布式锁的服务器就将自己加入到运行中搜索服务器组，同时从备用搜索服务器组中删除自己，并停止运行中搜索服务器检查服务。

为能够更快速的得到搜索结果，设计上将搜索服务器分优先等级。通常是将最新的数据放在一台或几台内存搜索服务器上。通常情况下前几页数据能在这几台搜索服务器里搜索到。如果在这几台搜索服务器上没有数据时再向其他旧数据搜索服务器上搜索。 优先搜索等级的逻辑是这样的：9最大为搜索全部服务器并且9不能作为level标识。当搜索等级level为1，搜索优先级为1的服务器，当level为2时搜索优先级为1和2的服务器，依此类推。