Terracotta + Apache + Tomcat 负载均衡实践篇
前言
这两天在学习ehcache分布式缓存方案时接触到了Terracotta。几年前刚做开发工作时想用Terracotta集群SpringBeans，当时网上资料少，尝试很久没成功就没继续下去了。
于是我又在网上搜罗一些资料，发现这玩意已经很成熟了，有很多深度应用的产品，分布式缓存、调度等。引用网上的描述：
- Terracotta是一款由美国Terracotta公司开发的著名开源Java集群平台。它在JVM与Java应用之间实现了一个专门处理集群功能的抽象层，以其特有的增量检测、智能定向传送、
- 分布式协作、服务器镜像、分片等技术，允许用户在不改变现有系统代码的情况下实现单机Java应用向集群话应用的无缝迁移。使得用户可以专注于商业逻辑的开发，
- 由Terracotta负责实现高性能、高可用性、高稳定性的企业级Java集群
运行环境
- JDK1.6.22 + Tomcat6 + Apache2.2.19 + Terracotta Open Source 3.5.2 + zlib1.2.3（安装apache需要）
- 模拟双机环境：本机Window 7操作系统（布署Tomcat，Terracotta，IP:192.168.1.51 ） + VMware 虚拟机 Linux系统（布署Apache，Tomcat，IP:192.168.1.207）。
- 在Terracotta + Apache + Tomcat 负载均衡构架中，Terracotta 起到session服务器作用，实时多机间的session缓存与复制（JVM Field级别，比Tomcat自带的效率高）。
实施布骤
win7系统
1.安装Terracotta(下载地址：http://www.terracotta.org/dl/oss-download-catalog)下载后直接点击安装，完成后关注安装目录下的sessions目录，里面有其于jetty服务器的example和依赖的jar。其中的cart.war被我用做集群的测试工程。
2.安装Tomcat JDK等省略（网上查资料）。
linux系统
1.安装 Tomcat JDK等省略（网上查资料）
2.安装 zlib-1.2.3.tar.gz（下载地址：http://ishare.iask.sina.com.cn/f/14331439.html?from=like）， apache服务器安装时没有这个库会报错。
将zlib-1.2.3.tar.gz拷贝至/usr/目录
# tar -zxvf zlib-1.2.3.tar.gz
# cd zlib-1.2.3
# ./configure
# make
# make install
3. 安装 Apache 服务器（下载地址：http://httpd.apache.org/download.cgi）
将 httpd-2.2.19.tar.gz 拷贝到/usr/目录
# tar -zxvf httpd-2.2.19.tar.gz
# cd /usr/httpd-2.2.19/
#./configure --prefix=/usr/local/apache --enable-modules=so --enable-mods-shared=all --enable-proxy --enable-proxy-connect --enable-proxy-ftp --enable-proxy-http --enable-proxy-ajp --enable-proxy-balancer --enable-rewrite
# make
# make install
4.apache已被安装至/usr/local/apache
第二步、配置集群
配置Tomcat（两台机器的Tomcat相同）
1.拷贝${Terracotta_Home}/sessions/terracotta-session-1.1.2.jar和${Terracotta_Home}/common/terracotta-toolkit-1.3-runtime-3.2.0.jar至tomcat安装目录的lib目录。
2.修改conf/context.xml文件
3.修改conf/server.xml文件
a.保证 <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />没有被注释，AJP协议是Apache负载均衡时与后端主机的二进制 通讯协议。
b.如果配置粘性Session，需要配置服务器路径名jvmRoute。
配置Apache服务器
1.Proxy配置，创建文件并编辑以下内容，并保存为/usr/local/apache/conf/extra/httpd-modproxy.conf
注意：
# make install
4.apache已被安装至/usr/local/apache
第二步、配置集群
配置Tomcat（两台机器的Tomcat相同）
1.拷贝${Terracotta_Home}/sessions/terracotta-session-1.1.2.jar和${Terracotta_Home}/common/terracotta-toolkit-1.3-runtime-3.2.0.jar至tomcat安装目录的lib目录。
2.修改conf/context.xml文件
- <Context>
- <!-- Default set of monitored resources -->
- <WatchedResource>WEB-INF/web.xml</WatchedResource>
- <!--加上这一句，Terracotta 代理HttpServletSession-->
- <Valve classname="org.terracotta.session.TerracottaTomcat60xSessionValve" tcConfigUrl="192.168.1.51:9510"/>
- </Context>
a.保证 <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />没有被注释，AJP协议是Apache负载均衡时与后端主机的二进制 通讯协议。
b.如果配置粘性Session，需要配置服务器路径名jvmRoute。
- <!--粘性Session配置
- <Engine name="Standalone" defaultHost="localhost" jvmRoute="jvm1"> <pre name="code" class="plain">--></pre><pre name="code" class="plain"><Engine name="Standalone" defaultHost="localhost">
- </pre><br>
1.Proxy配置，创建文件并编辑以下内容，并保存为/usr/local/apache/conf/extra/httpd-modproxy.conf
- <Location /server-status>
- SetHandler server-status
- Order Deny,Allow
- Deny from all
- Allow from all
- </Location>
- # 监控负载主机活动状态,响应连接与流量等，生产环境建议拿掉。
- <Location /balancer-manager>
- SetHandler balancer-manager
- Order Deny,Allow
- Deny from all
- Allow from all
- </Location>
- ProxyRequests Off
- <pre name="code" class="plain">ProxyPass /cart balancer://tomcatcluster nofailover=On
- </pre><span style="color:#FF0000;"># 粘性Session使用以下配置<br># ProxyPass /cart balancer://tomcatcluster stickysession=JSESSIONID|jsessionid nofailover=On</span><br># 反向代理,响应头信息的 Content-Location<br>ProxyPassReverse /cart balancer://tomcatcluster<br><Proxy balancer://tomcatcluster> <br><span style="color:#FF0000;"># 粘性Session配置<br># BalancerMember ajp://192.168.1.51:8009/cart loadfactor=1 route=jvm1<br># BalancerMember ajp://192.168.1.207:8009/cart loadfactor=1 route=jvm2</span><br> BalancerMember ajp://192.168.1.51:8009/cart <br> BalancerMember ajp://192.168.1.207:8009/cart <br><span style="color:#FF6666;"># status=+H 为配置热备,当所有机器都over时，才会请求该机器。<br># BalancerMember http://192.168.1.51:8009 status=+H <br># 按照权重 <br># ProxySet lbmethod=bytraffic <br># 按负载量，也就是负载少的派发请求 <br># ProxySet lbmethod=bybusyness<br># 按请求次数 </span><br> ProxySet lbmethod=byrequests<br></Proxy>
- 1.ProxyPass 配置的是映射策略，当使用粘性Session策略时stickysession=JSESSIONID|jsessionid是必须的。
2.修改conf/httpd.conf文件
- 2.BalancerMember 配置的是子机的地址。
- 3.ProxySet配置的是负载均衡策略bytraffic、bybusyness、byrequests，我这里配置的是按请求次数。
- 4.当使用权重负载策略时BalancerMember可加上loadfactor权重属性。
- 5.当需要粘性Session时BalancerMember属要加上route路线属性，对应于Tomcat的context.xml中的配置。
a.确保以下几点未被注释
- LoadModule proxy_module modules/mod_proxy.so
- LoadModule proxy_connect_module modules/mod_proxy_connect.so
- LoadModule proxy_ftp_module modules/mod_proxy_ftp.so
- LoadModule proxy_http_module modules/mod_proxy_http.so
- LoadModule proxy_ajp_module modules/mod_proxy_ajp.so
- LoadModule proxy_balancer_module modules/mod_proxy_balancer.so
- LoadModule status_module modules/mod_status.so
b.增加以下内容用于导入Proxy配置文件：
- # Proxypass Config
- Include conf/extra/httpd-modproxy.conf
目前为止配置已大功告成
第三步、启动服务
1.先启动Terracotta服务器，否则Tomcat会因为找不到Terracotta而Warn。
${Terracotta_home}/bin/start-tc-server.bat
2.启动两台机器的Tomcat，
${tomcat_home}/bin/startup.bat或startup.sh(linux系统)，如果与Terracotta连接成功，可以看到如下画面。
3.启动Apache服务器
# /usr/local/apache/bin/apachectl start（停止服务是apachectl stop）。
第四步、测试结果
前面提供cart.war示例，我已预先放到tomcat的webapp下。
打开浏览器输入：http://192.168.1.207/cart，显示映射成功：
多刷新几次页面后查看http://192.168.1.207/balancer-manager，Elected均匀分布，负载均衡起作用了。
把基中一台Tomcat关闭，再次刷新页面，没有任何问题。用户完全感觉不出来主机故障。这就是传说中的故障转移吧。。呵呵，在公司没机会实践只能自己弄来玩玩而已了。
再打开Terracotta 控制台看看，Session被缓存在主机上了。有两个Session是因为我开了两个浏览器，实际上负载均衡的两台Tomcat是共享Session的，当然也可以把Web应用设计成无用户状态的，那就不需要Terracotta 。
