solr分布式配置之索引复制(原创)

solr的索引复制:将索引从主服务器上复制到多个服务器上.

索引复制原因:当有很多个客户并发访问某Solr服务器,这可能会导致Solr服务器崩溃(Solr服务器性能达不到这些客户并发访问的需求),这时就需要通过solr索引复制来减少对服务器的性能要求。

下面介绍一下主从服务器的最简单配置(如下配置在项目中已经通过验证):

我的环境:solrmaster(10.148.73.83),solrslave(10.148.74.72),jdk1.6.0_13,master(apache-tomcat-6.0.28),slave(apache-tomcat-6.0.29),apache-solr-3.6.0

先将solr与tomcat进行整合,可以参考solr3.6与tomcat的整合

配置主服务器solrMaster(10.148.73.83),在solrconfig.xml中增加以下内容

<requestHandler name="/replication" class="solr.ReplicationHandler" >  
	<lst name="master">  
		<str name="replicateAfter">commit</str> 
		<str name="replicateAfter">optimize</str>
		<str name="backupAfter">optimize</str>
		<int name="numberToKeep">2</int>
		<str name="confFiles">schema.xml,stopwords.txt,elevate.xml</str>  			
		<str name="commitReserveDuration">00:00:30</str> 
		<str name="httpBasicAuthUser">admin</str>  
		<str name="httpBasicAuthPassword">admin</str>
	</lst>  
</requestHandler>

replicateAfter : SOLR会自行在以下操作行为发生后执行复制: 'commit', 'startup', 'optimize',该值可以填多个

backupAfter:SOLR会自行在以下操作行为发生后执行备份索引:'commit','startup','optimize',该值可以填多个

numberToKeep:指定备份多少份文件,默认值为MAX_VALUE

confFiles : 待分发的配置文件,solr 也会将主服务器上的字段配置文件:schema.xml和stopwords.txt,固排文件: elevate.xml同步到辅服务器上。

commitReserveDuration: 每次commit之后,保留增量索引的周期时间,这里设置为30秒。

配置从服务器solr slave(10.148.74.72), 在solrconfig.xml中增加以下内容

<requestHandler name="/replication" class="solr.ReplicationHandler" >  
    <lst name="slave">  
        <str name="masterUrl">http://10.148.73.83:8080/solr/replication</str>     
        <str name="pollInterval">00:00:30</str> 
		<!-- 以下参数不常用,非必填参数-->
        <str name="compression">internal</str>
        <str name="httpConnTimeout">100000</str>  
        <str name="httpReadTimeout">1000000</str> 
		<str name="httpBasicAuthUser">admin</str>  
        <str name="httpBasicAuthPassword">admin</str>
     </lst>  
</requestHandler>

masterUrl : 主索引的url,该从索引将从这个主索引地址同步索引

pollInterval:从服务器同步间隔,即每隔多长时间同步一次主服务器,格式为HH:mm:ss.如果该设置为空从索引将不会主动从主索引同步索引.另外拉取索引的请求也可以通过admin页面或者httpapi来触发

compression:在索引传输过程中使用压缩,可选的值有两个internal和external

如果值是'external'请确保主索引的solr已经设置了accept-encodingheader

如果值是'internal'索引数据将被自动压缩,这个主要在低带宽情况下使用,局域网中请不要使用,局域网中使用会降低复制效率

httpConnTimeout:设置连接超时(单位:毫秒)

httpReadTimeout:设置读取超时,如果设置同步索引文件过大,则应适当提高此值。(单位:毫秒)

httpBasicAuthUser:验证用户名,需要和主服务器一致

httpBasicAuthPassword:验证密码,需和主服务器一致

注:从服务器可以有多个,多个从服务器的配置相同

至此solr的索引复制的配置工作就完成了。现在可以启动两个服务器,通过http://10.148.73.83:8080/solr/admin/replication/查看到主服务器的复制页面的控制页面

solr分布式配置之索引复制(原创)

通过http://10.148.74.72:8080/solr/admin/replication/查看到从服务器的复制页面的控制页面

solr分布式配置之索引复制(原创)

相关推荐