认识缓存之服务器缓存(varnish)
在没有任何优化的情况下,每个HTTP请求,web服务器都必须从服务器磁盘中读取请求页面的数据,然后发送给客户端。相对于内存访问速度来说,磁盘访问的速度极其缓慢。把要访问的页面缓存到内存中,下次访问直接从内存中读取,能有效加快web应用的访问速度。
一、传统代理和反向代理
一般情况下,使用浏览器直接连接其他web站点取得网络信息,直接联系到目的站点服务器,目的站点服务器把信息发送过来。
介于客户端和web服务器之间的另一台服务器称为代理服务器,浏览器不直接到web服务器取回网页,而向代理服务器发送请求,信号先送到代理服务器,由代理服务器取回浏览器所需的信息并传送给浏览器。
大部分代理服务器具有缓冲功能,好像是一个cache,有很大存储空间,不断将新取得的数据存储到本地存储器上。如果本地存储器上已经存在用户请求的数据而且是最新的,直接将存储器上的数据发送给用户,这样就能够显著调高浏览器速度和效率。
代理服务器所做的工作是将用户HTTP请求转发给web服务器,再将从web服务器收到的响应数据发送给用户浏览器。所以,web服务器的角度看,代理服务器和用户浏览器的本质是一样的,他们都扮演着HTTP代理的角色。
反向代理和传统代理原理相似,只是使用对象不同。传统代理使用对象是客户端程序,而反向代理使用对象是服务端程序。这是其成为“反向代理”根本原因。
引入反向代理后,客户通过反向代理服务器间访问web服务器,从而把后端web服务器隐藏。不过用户并不关心这些,反向代理服务器完美充当用户中心的web服务器。至于反向代理服务器和后端web服务器沟通,和传统代理的本质一样。
反向代理有两个作用:①利用反向代理服务器的安全特性处理事务;②利用高速缓存特性在高并发的服务器上加速。
二、静态页面局部动态内容更新
页面静态化是搭建高性能网站必用的招式之一,页面静态化可以有效提升系统响应速度,同时也有利于搜索引擎优化。但在页面静态化后,静态页面之间包含(例如所有的静态页面包含页头、页脚)以及静态页面中的局部信息的动态更新又成为新的问题。静态页面之间的包含一般有如下方案:
1、Client Side Includes(CSI):通过frame、iframe、javascript、javacript+ajax等方式将另外一个页面的内容动态包含进来。像现在流行的jquery等javascript库对此有较好的支持。
优点:能够利用浏览器客户端并行处理及装载的机制;通过浏览器缓存机制可以降低网络传输时间,提高性能;计算放在客户端,能够降低服务器端压力
缺点:搜索引擎优化问题;javascript兼容性问题;客户端缓存可能导致服务器端内容更新后不能及时生效;XSS等安全隐患
2、Server Side Includes(SSI):
优点:SSI技术是通用技术,不受具体语言限制,只需要Web服务器或应用服务器支持即可,Ngnix、Apache、Tomcat、Jboss等对此都有较好的支持
缺点:SSI在语法上不能够直接包含其他服务器的url(当然也可以通过redirect等来变通实现),因此在需要充分利用缓存及负载均衡的环境下相对不是很灵活。
当然如果不使用单独的缓存服务器,而是使用Ngnix,利用Ngnix对SSI及Memcached支持,通过NginxHttpSsiModule、NginxHttpMemcachedModule也可以实现页面缓存,但与专业的缓存服务器(例如Varnish)相比较,Ngnix作为缓存服务器只适合于中小规模的场合。
3、Edge Side Includes (ESI):
Edge Side Includes(ESI) 和Server Side Includes(SSI)和功能类似。SSI需要特殊的文件后缀(shtml,inc)。ESI可以直接通过URI包含远程服务器文件,ESI更适合用于缓存服务器上,缓存整个页面或页面片段,因此ESI特别适合用于缓存。像当下流行的缓存服务器Varnish对此有所支持。
三、认识varnish
在前面章节讲解的Apache、nginx服务器中,我们已经看到了反向代理和缓存的功能。其实varnish的功能也非常强大,它不仅仅包含这两项功能,还具备ESI静态页面和动态内容整合的功能。总结来说,varnish主要具备这三项功能:①反向代理功能;②高速缓存的功能;③ESI静态页面和动态内容在服务器端整合的功能;
1、varnish缓存功能有如下优点:
- 是基于内存缓存,重启后数据将消失;
- 利用虚拟内存方式,IO性能好。
- 支持设置0~60秒内的精确缓存时间。
- VCL配置管理比较灵活
- 32位机器上缓存文件大小最大为2G
- 具有强大的管理功能,例如top、stat、admin、list等。
- 状态机设计巧妙,结构清晰
- 利用二叉堆管理缓存文件,达到积极删除目的
2、varnish的ESI,可以非常容易的实现:
- 与用户个性化无关的信息:直接由Varnish+ESI就可以实现。对于动态变化的局部页面,可以在ESI制定的url地址返回的http header的
Cache-Control来指定缓存策略,实现局部页面缓存(fragment caching)。
- 与用户个性化信息相关:对于整个页面的缓存策略仍然使用Varnish+ESI方式。而需要fragment caching的局部页面,可以根据用户Cookie信息获得用户身份标识信息(例如userid),然后在ESI的URL中带上用户身份信息提交到后端的Web服务器或应用服务器以获取与用户个性化相关的信息。
四、安装VARNISH
tar zxvf varnish-3.0.1.tar.gz cd varnish-3.0.1 ./configure --prefix=/usr/local/varnish make make install
五、配置varnish
# This is a basic VCL configuration file for varnish. See the vcl(7) # man page for details on VCL syntax and semantics. # # Default backend definition. Set this to point to your content # server. #将varnish配置为代理服务器,host为web服务器的IP地址 #port为web服务器监听端口 backend default { .host = "192.168.88.156"; .port = "80"; ###下面三行为新加配 .connect_timeout = 1s; .first_byte_timeout = 5s; .between_bytes_timeout = 2s; } # # Below is a commented-out copy of the default VCL logic. If you # redefine any of these subroutines, the built-in logic will be # appended to your code. #请求刚刚到达varnish时,调用vcl_recv函数,这里要做的就是:告诉varnish那些请求需要 #先查找缓存,那些请求直接发送到后端服务器。 sub vcl_recv { if (req.restarts == 0) { if (req.http.x-forwarded-for) { set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip; } else { set req.http.X-Forwarded-For = client.ip; } } if (req.request != "GET" && req.request != "HEAD" && req.request != "PUT" && req.request != "POST" && req.request != "TRACE" && req.request != "OPTIONS" && req.request != "DELETE") { /* Non-RFC2616 or CONNECT which is weird. */ return (pipe); } if (req.request != "GET" && req.request != "HEAD") { /* We only deal with GET and HEAD by default */ return (pass); } if (req.http.Authorization || req.http.Cookie) { /* Not cacheable by default */ return (pass); } return (lookup); } # sub vcl_pipe { # # Note that only the first request to the backend will have # # X-Forwarded-For set. If you use X-Forwarded-For and want to # # have it set for all requests, make sure to have: # # set bereq.http.connection = "close"; # # here. It is not set by default as it might break some broken web # # applications, like IIS with NTLM authentication. return (pipe); } # sub vcl_pass { return (pass); } # sub vcl_hash { hash_data(req.url); if (req.http.host) { hash_data(req.http.host); } else { hash_data(server.ip); } return (hash); } # sub vcl_hit { return (deliver); } # sub vcl_miss { return (fetch); } #varnish从后端获取内容后调用vcl_fetch函数,决定那些内容需要缓存,那些不需要 sub vcl_fetch { if (beresp.ttl <= 0s || beresp.http.Set-Cookie || beresp.http.Vary == "*") { /* * Mark as "Hit-For-Pass" for the next 2 minutes */ set beresp.ttl = 120 s; return (hit_for_pass); } return (deliver); } # sub vcl_deliver { return (deliver); } # # sub vcl_error { # set obj.http.Content-Type = "text/html; charset=utf-8"; # set obj.http.Retry-After = "5"; # synthetic {" # <?xml version="1.0" encoding="utf-8"?> # <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" # "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> # <html> # <head> # <title>"} + obj.status + " " + obj.response + {"</title> # </head> # <body> # <h1>Error "} + obj.status + " " + obj.response + {"</h1> # <p>"} + obj.response + {"</p> # <h3>Guru Meditation:</h3> # <p>XID: "} + req.xid + {"</p> # <hr> # <p>Varnish cache server</p> # </body> # </html> # "}; # return (deliver); # } # sub vcl_init { return (ok); } # sub vcl_fini { return (ok); }
六、启动并查看Varnish
1、启动指令
/usr/local/varnish/sbin/varnishd -f /usr/local/varnish/etc/varnish/default.vcl -s malloc,1024m -T 127.0.0.1:200 -a 0.0.0.0:80
2、HTTP中的varnish服务表示
Via: 1.1 varnish
3、查看Varnish缓存状态
/usr/local/varnish/bin/varnishstat -n /data/varnish/cache
4、有关Varnish更新问题(php实现更新)
vcl_recv { if (req.request == "PURGE") { if (!client.ip ~purge){ error 405 "Not allowed"; } ban("req.http.host == " +req.http.host+" && req.url ~ "+req.url); error 200 "Ban added"; }
$ret=varnish_purge('10.10.10.11','10.10.10.11','/'); echo $ret ?"Success":"Failure"; function varnish_purge($ip, $host, $url){ $errstr = ''; $errno = ''; $fp = fsockopen ($ip, 80, $errno, $errstr, 10); if (!$fp){ return false; }else{ $out = "PURGE {$url} HTTP/1.1 "; $out .= "Host:{$host} "; $out .= "Connection: close "; fputs ($fp, $out); $out = fgets($fp); fclose ($fp); return true; } }
注意:如果要用好Varnish,还需要学习vcl。
相关推荐
某些公司会墙特定网站,如果你有一个可访问的域名和服务器,就可以通过nginx反向代理来来解决这些问题。比如现在我们用mirror.example.com镜像www.baidu.com,以下是详细操作。