memcached分布式部署
nginx+memcache+tomcat应该是企业级开发中用到的比较多的一套集群web环境,因为本人是从事Java的学习和开发,因此服务器选择了tomcat;配置这样一个环境在我看来首要目的当然是将服务器的压力分散开,用多台服务器来处理大用户的并发,并通过缓存来减少对服务器的请求量,同时一个应用分布在不同服务器上就需要做session共享。大概的结构我想应该是这样:
这样一来请求会被分派到这图中5个tomcat下的项目去处理,当然有时候服务器需要处理更大的并发量则需要更多的nginx来作为代理转发并需要更多的tomcat节点(当然也有牛人能把tomcat配到数千并发量,这样也不一定需要太多tomcat)
我将从windows上给大家讲我的配置过程,至于在linux上其实差不太多,只是在安装memcache和nginx上有差异,对于配置来说都一样。下面简单来介绍下我的操作步骤(JDK和tomcat部分的安装省略)
一、所需环境和软件
Tomcat7,下载链接:http://tomcat.apache.org/
Nginx是nginx-1.2.8,
下载链接:http://nginx.org/en/download.html
Memcached是memcached-1.2.6-win32-bin,下载链接:http://code.jellycan.com/files/memcached-1.2.6-win32-bin.zip,
其他所需jar包,如下列表:
memcached-session-manager-1.6.1,memcached-session-manager-tc6-1.6.1(因为Tomcat版本为6.0)
javolution-5.4.3.1,msm-javolution-serializer-1.6.1(准备使用javolution序列化方式)
spymemcached-2.7.3(依赖包),以上jar包在http://code.google.com/p/memcached-session-manager/downloads/list中都可以找到,文档http://code.google.com/p/memcached-session-manager/wiki/SetupAndConfiguration中详细介绍了不同的服务器版本,不同的jar包需求。
二、Tomcat配置
这里我们就配置俩tomcat来意思意思。。。。
进入tomcat配置文件context.xml,我设置么配的(具体为什么这么配我还真有点说不出123,大致有感觉罢了)
也就是红框是我们需要加的了,这里就是配置session共享,通过memcache来保存session信息。
memcacheNode是你有几个memcache就可以配几个节点,我这里写了两个告诉大家如果你有多个需要配置的节点用空格断开,前面写节点名。
当然网上有的是把这部分配到server.xml的Engine节点下,我试了如果不在context下配置我的会报错,不知道他们还有哪里和我不一样。再就是这里的memcacheNode的IP,我写localhost也有问题,必须写127.0.0.1才能连接到memcache的服务。如果有人发现我配置上的问题可以帮我一并指出。
然后大家可以去server.xml下找<Engine>节点,在其中添加属性jvmRoute="tomcatn"n就是第n个tomcat你自己写后面测试的时候打印sessionId会显示出来现在用的是那个tomcat。当然server.xml最重要的配置还不是在这,是你需要配置三个端口保证和其他的tomat不会冲突,分别在这里
注意tomcat端口默认都是8080,大家做开发习惯了这个端口,都把端口配到808*,但是这样会有问题,比如你要配4个tomcat集群,一个tomcat要配置3个端口,都在808*上就势必有重复,因此不是很好的决策,所以我是这么定的:分别放在900*808*810*上,然后建议大家在tomcat根目录建一个文件名叫8081-8100-9006类似这样文本文件提示自己当前这个tomcat的端口配置,现在只有俩服务器,否则服务器多了你一个个开配置文件看太麻烦。
配置完了,还有memcache支持的jar,复制到lib下即可,当然版本尽量对上或者贴近。
三、nginx的安装
载下来的nginx,我的是1.8,解压完就这样
双击nginx.exe是可以启动nginx的,但是你并不能看见什么反应,因为他在你后台进程里跑,打开任务管理器看服务里面会有nginx的服务开着,就行了。当然我还是推荐大家用命令模式操作nginx
开启nginx:nginx
关闭nginx:nginx-sstop
重启nginx:nginx-sreload
这里注意nginx的核心配置文件在conf目录下,有个nginx.conf文件,这里是我们需要配置的地方。
nginx配置文件结构我不全了解,我就说我知道的几个点。
Nginx配置文件主要分为4部分:main(全局设置)、server(主机设置)、upstream(负载均衡服务器设置)和location
首先server代表了一个虚拟主机,在这个块中可以配置主机名和location,这两个块也就是我们要用到的nginx反向代理,将虚拟地址映射到实际的服务器地址。实际的服务器地址我们配置到一个upstream块中,那么既然我们做了集群,将大量的请求分派到5个甚至多个tomcat下,那么请求怎么访问它们呢?这里就有请求分配的策略了。upstream模块的负载均衡分配方式我在网上查了有5种:轮询,权重,ip_hash,url_hash和平均。轮询比较好理解就是从第一个轮流来访问;权重就是在配置这个节点的时候就分配给他一个优先级(有点像线程优先级),ip_hash每个请求按照其请求IP的hash结果分配,url_hash按照url的hash结果分配平均分配就是按照服务器响应时间来分配,响应时间小的先分配。
讲到这里nginx配置的理论就差不多了,那么来看下配置的细节,下面是我的部分配置:
这里我将两台tomcat加入负载均衡配置中,location指的是server_name后项目名,也就是说我们访问http://localhost/tonghang将会定向到http://127.0.0.1:8081/tonghang和http://127.0.0.1:8082/tonghang上。proxy_pass指定了代理的目标主机IP,这里写的是upstrean块的地址(我不是很懂暂时这么说),由upstream中指定有哪些要映射的IP,当然我们也可以写到外面,用很多个proxy_pass来映射。
四、memcache安装
windows下安装memcache就是安装一个exe文件,linux下安装可能还需要安装部分依赖库,因为我所在的服务器下就带有memcache,我先在win下配置好后再去linux下直接用的,用起来没有什么问题,所以安装细节就不提了大家可以去看别的技术文章,win下安装就是来到你解压的memcached.exe所在目录用命令memcached.exe-dinstall即可。启动的话就是执行memcached.exe-dstartlinux下是memcached-d-uroot重复开memcache貌似不会出现端口占用的问题应该是它内部做处理了
好了,到这里基本的配置完毕,我们可以去两个tomcat下部署两个一样web项目(我这里叫tonghag),项目下都有一个index.jsp,内容如下:
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<%@pagelanguage="java"contentType="text/html;charset=UTF-8"%>
<html>
<body>
<h2>HelloWorld!</h2>
<%
Stringtmp=(String)session.getAttribute("tmp");
if(tmp==null||tmp==""){
session.setAttribute("tmp","iamcreatedintomcat2.myidis:"+session.getId());
tmp=(String)session.getAttribute("tmp");
out.println("nullnowtocreatedvalue!");
out.println("<br/>");
out.println(tmp);
System.out.println(tmp);
}else{
out.println(tmp);
System.out.println(tmp);
}
%>
</body>
</html>
逻辑就是每当发现请求中没有sessionid就创建session,按道理如果没有配置memcache的session共享,分别访问http://localhost:8081/tonghanghttp://lcoalhost:8082/tonghang会得到不同的sessionID,如果你通过上述的配置sessionID在一个浏览器上的访问都是一样的。
在测试一下http://localhost/tonghang试试看。你会发现也能看当刚才的界面,这就是我们做了反向代理的结果,而且你还会发现你的两台tomcat的控制台在挨个输出日志,这也就达到了我们负载均衡的效果,因为我配置了两台tomcat而且权重一样,也就是说访问的几率差不多,而两台tomcat本来就是一台复制一台的,所以几乎是121212的访问(和轮询差不多)。所以大家可以尝试给其中一台配置权限高一点,日志输出分布也就明显了。或者可以试试其他的策略。
ngxin+tomcat+memcache的负载均衡,反向代理和session共享的相关配置介绍完了,单纯这样用是看不出什么实际用途的,需要我们将其和实际项目联系起来。在项目访问量级相对较大的时候就能看出来了。毕竟那么多企业的项目再用这套架构,也不是徒有虚名嘛。
小弟第一次做集群的配置,其中如果有配置的不对让我误打误撞试出来的,也请指点一下。并且我一直不清楚一个地方就是我在配置tomcat的context.xml那个memcacheNode里面我如果只配一个节点就会错,log意思好像是无法连接memcache服务,配俩一样的就行了。这里我一直没明白,有知道怎么回事儿的身边给我留个言吧!