nginx全面解析【负载均衡、反向代理、高可用、宕机容错】

nginx全面解析【负载均衡、反向代理、高可用、宕机容错】
原创itcats_cn 最后发布于2018-09-06 10:24:33 阅读数 15799 收藏
展开
什么是nginx？
nginx是一款高性能的http服务器，官方测试nginx能够支支撑5万并发链接，并且cpu、内存等资源消耗却非常低，运行非常稳定，所以现在很多知名的公司都在使用nginx。

nginx有什么作用?
1、负载均衡(可以减轻单台服务器的压力)

2、反向代理(隐藏企业真实的ip地址)

3、搭建虚拟服务器

4、用做静态服务器(实现动静分离)

5、nginx性能高、体积小、能支撑的并发量很高

6、ddos攻击可以使用nginx解决

7、解决ajax跨域问题

这里补充一点：

问：企业中常用的安全架构有哪些？

1、使用nginx做反向代理(隐藏了服务器真实的ip地址)

2、ddos(流量攻击)可以使用nginx解决

3、使用https防止第三方通过抓包分析http请求

4、防盗链、csrf(跨域请求伪造)、xss攻击、sql注入等

分享我之前写过的文章《XSS攻击及解决方案》、《表单重复提交的解决方案(防止模拟Http请求CSRF)》

除了nginx，还有什么反向代理服务器呢？
lvs、F5（硬件）、haproxy等。

nginx应用场景
1、http服务器。Nginx是一个http服务可以独立提供http服务。可以做网页静态服务器。

2、虚拟主机。可以实现在一台服务器虚拟出多个网站。例如个人网站使用的虚拟主机。

3、反向代理，负载均衡。在安全架构中，使用反向代理可以隐藏企业真实ip地址，安全性高。当网站的访问量达到一定程度后，单台服务器不能满足用户的请求时，需要用多台服务器集群可以使用nginx做负载均衡，并且多台服务器可以平均分担负载，不会因为某台服务器负载高宕机而某台服务器闲置的情况。

4、nginx搭建企业级api接口网关，可以解决跨域问题

5、安全架构中可以使用nginx防ddos流量攻击

Linux下nginx安装
https://blog.csdn.net/wxyjuly/article/details/79443432

启动：
$ /usr/local/nginx/sbin/nginx

重启：
$ /usr/local/nginx/sbin/nginx –s reload

停止：
$ /usr/local/nginx/sbin/nginx –s stop

测试配置文件是否正常：
$ /usr/local/nginx/sbin/nginx –t

强制关闭：
$ pkill nginx

nginx反向代理配置
反向代理通过在nginx/conf/nginx.conf中的proxy_pass配置

什么是反向代理?
反向代理（Reverse Proxy）方式是指以代理服务器外网方式来接受internet上的连接请求，然后将请求转发给内网的服务器(tomcat)，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个反向代理服务器。

启动一个Tomcat 127.0.0.1:8080

需要配置反向代理，则需要配置一下nginx安装目录下的conf文件夹——nginx.conf

原配置文件含义：

可以看到nginx默认监听端口号为80，当请求开头为localhost或localhost:80时候，拦截所有请求，并转发到index.html，即nginx的默认页面

那么，nginx配置反向代理也就迎刃而解了：

如果我想在本地通过访问www.nginx.cn跳转到我的本地项目localhost:8080/index，则这么配置

server {
listen 80;
server_name www.nginx.cn;
location / {
proxy_pass http://localhost:8080/index;
index index.html index.htm;
}
}
重启nginx      /usr/local/nginx/sbin/nginx –s reload

plus:   server{}可以配置多个,这个过程中我们隐藏了我们真实的ip地址,提高了安全性。

nginx实现负载均衡
什么是负载均衡
    负载均衡，英文名称为Load Balance，其意思就是分摊到多个操作单元上进行执行，例如Web服务器、FTP服务器、企业关键应用服务器和其它关键任务服务器等，从而共同完成工作任务。负载均衡的本质目的就是提高网站的吞吐量(吞(请求)、吐(响应)数量)，减轻单台服务器压力，尽可能最大化利用每个服务器的资源。

负载均衡策略
负载均衡策略配置在nginx/conf/nginx.conf中，根据upstream backserver{}配置，注意：配置在server{}外面

1、轮询（默认）

每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。如有两台tomcat，tomcat1和tomcat2，那么先访问tomcat1，再访问tomcat2，再访问tomcat1，再访问tomcat2...以此循环。适用场景:两台服务器配置相近情况，否则对于配置低的服务器是性能瓶颈。

upstream backserver {
server 10.211.55.1;
server 10.211.55.2;
}
location / {
proxy_pass http://backserver;
index index.html index.htm;
}

当你访问www.nginx.cn/login时候，端口号80和server_name都匹配，location / 拦截所有请求，会反向代理到backserver，而backserver配置了两个serverIP，则实际访问的是：10.211.55.1  和  10.211.55.2两者轮询访问。

当然，如果你没有这么多服务器，你也可以根据端口号区分，搭建伪集群。

upstream backserver {
server 127.0.0.1:8080;
server 127.0.0.1:8081;
}
改过配置，不会实时生效，重启nginx     sbin/nginx -s reload

 2、指定权重  

指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。

upstream backserver {
server 10.211.55.1 weight=5;
server 10.211.55.2 weight=10;
}
 按比例进行分配   10.211.55.1访问1次，10.211.55.2访问两次。

改过配置，不会实时生效，重启nginx

3、IP绑定 ip_hash【不建议】  

每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。

upstream backserver {
ip_hash;
server 10.211.55.1;
server 10.211.55.2;
}
 

4、第三方【了解】

按后端服务器的响应时间来分配请求，响应时间短的优先分配。

upstream backserver {
server 10.211.55.1;
server 10.211.55.2;
fair;
}

到此位置，负载均衡和反向代理就介绍完了。我发现很多人有一个误区，分不清楚负载均衡和反向代理的区别。负载均衡主要是针对tomcat集群，nginx根据负载均衡策略访问不同的tomcat服务器，让服务器尽可能发挥出更多性能。而反向代理主要是出于安全性考虑，只需要提供nginx的公网ip，而通过内网nginx与tomcat实现通信，这样隐藏了tomcat服务器的ip地址。

那么假设tomcat集群中，有一台服务器挂了，而nginx刚好选择了该台服务器，那么会一直请求，问题来了，通过nginx怎么解决tomcat宕机容错问题呢？

服务器宕机轮询配置规则
server {
listen 80;
server_name www.nginx.cn;
location / {
proxy_pass http://backserver;
index index.html index.htm;


proxy_connect_timeout 1;
proxy_send_timeout 1;
proxy_read_timeout 1;


}

}
加入三行代码，在访问某服务器1秒内没有响应的话，自动轮询下一台服务器。

实现tomcat服务器高可用：1、当有tomcat节点挂掉时候，使用keepalived脚本重启服务器     2、配置nginx服务器宕机轮询规则，超时未访问自动轮询下一台服务器    3、若多次重启不成功，则通过邮件通知

问：如果在项目发布新版本时候，怎么访问服务器？

假设有主备两台服务器，主机发布版本期间无法访问主机，那么通过配置了nginx服务器宕机容错机制，nginx则会转发给备机，当主机发布版本完成后，再更新备机项目。

问：tomcat发布版本的时候，session失效怎么解决?

由于session存放在jvm内存中，重启session失效，解决办法：把session存放在redis中。

nginx配置DDOS
限制请求次数
设置Nginx、Nginx Plus的连接请求在一个真实用户请求的合理范围内。比如，如果你觉得一个正常用户每两秒可以请求一次登录页面，你就可以设置Nginx每两秒钟接收一个客户端IP的请求（大约等同于每分钟个请求）。

limit_req_zone $binary_remote_addr zone=one:10m rate=2r/s;
server {
...
location /login.html {
limit_req zone=one;
...
}
}
`limit_req_zone`命令设置了一个叫one的共享内存区来存储请求状态的特定键值，在上面的例子中是客户端IP($binary_remote_addr)。location块中的`limit_req`通过引用one共享内存区来实现限制访问/login.html的目的。

nginx配置防盗链
location ~ .*\.(jpg|jpeg|JPG|png|gif|icon)$ {
        valid_referers blocked http://www.itcats.cn www.itcats.cn;
        if ($invalid_referer) {
            return 403;
        }
              }
 

nginx作为服务器的入口，所有的请求都需要经过nginx再分发给tomcat，如果有一天nginx挂了怎么办？nginx怎么实现高可用？

什么是负载均衡高可用
       nginx作为负载均衡器，所有请求都到了nginx，可见nginx处于非常重点的位置，如果nginx服务器宕机后端web服务将无法提供服务，影响严重。为了屏蔽负载均衡服务器的宕机，需要建立一个备份机。主服务器和备份机上都运行高可用（High Availability）监控程序，通过传送诸如“I am alive”这样的信息来监控对方的运行状况。当备份机不能在一定的时间内收到这样的信息时，它就接管主服务器的服务IP并继续提供负载均衡服务；当备份管理器又从主管理器收到“I am alive”这样的信息时，它就释放服务IP地址，这样的主服务器就开始再次提供负载均衡服务。

 
Nginx + Keepalived实现高可用
正常的互联网公司都会搭建nginx一主一备，主nginx挂了，备nginx就工作了。而keepalived负责

Keepalived是什么？
keepalived是集群管理中保证集群高可用的一个服务软件，用来防止单点故障。 Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。

Keepalived工作原理
Keepalived是一个基于VRRP协议来实现的服务高可用方案，可以利用其来避免IP单点故障，在VRRP中有两组重要的概念：VRRP路由器和虚拟路由器，主控路由器和备份路由器。

VRRP全称 Virtual Router Redundancy Protocol，即 虚拟路由冗余协议。可以认为它是实现路由器高可用的容错协议，即将N台提供相同功能的路由器组成一个路由器组(Router Group)，这个组里面有一个master和多个backup，但在外界看来就像一台一样，构成虚拟路由器，拥有一个虚拟IP（vip，也就是路由器所在局域网内其他机器的默认路由），占有这个IP的master实际负责ARP响应和转发IP数据包，组中的其它路由器作为备份的角色处于待命状态。master会发组播消息，当backup在超时时间内收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master，保证路由器的高可用。

1、安装keepalived
下载keepalived地址：http://www.keepalived.org/download.html

解压安装：

tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/

yum install -y openssl openssl-devel（需要安装一个软件包）

cd keepalived-1.2.18/ && ./configure --prefix=/usr/local/keepalived

make && make install

2、keepalived安装成Linux系统服务
将keepalived安装成Linux系统服务，因为没有使用keepalived的默认安装路径（默认路径：/usr/local）,安装完成之后，需要做一些修改工作：

首先创建文件夹，将keepalived配置文件进行复制：

mkdir /etc/keepalived

cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

然后复制keepalived脚本文件：

cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/

cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

ln -s /usr/local/sbin/keepalived /usr/sbin/

ln -s /usr/local/keepalived/sbin/keepalived /sbin/

可以设置开机启动：chkconfig keepalived on，到此我们安装完毕!

3、keepalived 常用命令
service keepalived start

service keepalived stop

4、配置nginx主备自动重启
第三步：对配置文件进行修改：vim /etc/keepalived/keepalived.conf

keepalived.conf配置文件说明：

主服务器：

把keepalived.conf文件替换为：

! Configuration File for keepalived

vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh" #运行脚本，脚本内容下面有，就是起到一个nginx宕机以后，自动开启服务
interval 2 #检测时间间隔，每隔两秒检查一次服务器是否宕机
weight -20 #如果条件成立的话，则权重 -20
}
# 定义虚拟路由，VI_1 为虚拟路由的标示符，自己定义名称
vrrp_instance VI_1 {
state MASTER #来决定主从
interface eth0 # 绑定虚拟 IP 的网络接口，根据自己的机器填写
virtual_router_id 121 # 虚拟路由的 ID 号， 两个节点设置必须不一样
mcast_src_ip 10.211.55.3 #填写本机ip
priority 100 # 节点优先级,主要比从节点优先级高
nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
advert_int 1 # 组播信息发送间隔，两个节点设置必须一样，默认 1s
authentication {
auth_type PASS
auth_pass 1111
}
# 将 track_script 块加入 instance 配置块
track_script {
chk_nginx #执行 Nginx 监控的服务
}

virtual_ipaddress {
192.168.11.12 # 主从一致，虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展，用途广泛。可配置多个。
}
}
 

nginx_check.sh 脚本：   让nginx自动重启的脚本，可以模拟把nginx进程杀死，只启动keepalived，会发现两台nginx都会重启，如果无法重启nginx_check.sh脚本授权。赋予可执行权限：chmod +x /etc/keepalived/nginx_check.sh

这样，使用keepalived就方便多了，无需手动启动nginx，只需启动keepalived，nginx就会通过脚本执行启动命令

注意：如果主服务器keepalived挂掉了，那么keepalived会把虚拟ip分配给从服务器进行使用，但是主服务器还是原来那个服务器，决定谁是主从服务器是根据一开始在keepalived.conf配置的——state MASTER #来决定主从，一旦主服务器的keepalived恢复工作，主服务器立刻获得虚拟ip地址，从服务器休息，主服务器继续工作，决定主从服务器这点跟redis的哨兵机制不太一样。

#!/bin/bash
A=`ps -C nginx -no-header |wc -l`
if [ $A -eq 0 ];then
/usr/local/nginx/sbin/nginx
sleep 2
if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
killall keepalived
fi
fi
我们需要把nginx_check.sh脚本分别copy到两台机器的 /etc/keepalived/文件夹下。

1、配置完成 启动  service keepalived start

返回 ：  Starting keepalived (via systemctl):                       [  OK  ]   成功

2、输入ip a   发现  inet多了一行虚拟地址ip

 inet 192.168.11.12/32 scope global eth0

3、这时就可以通过虚拟ip访问nginx了

访问192.168.11.12即可

从服务器：

把keepalived.conf文件替换为：

! Configuration File for keepalived

vrrp_script chk_nginx {
script "/etc/keepalived/nginx_check.sh" #运行脚本，脚本内容下面有，就是起到一个nginx宕机以后，自动开启服务
interval 2 #检测时间间隔，每隔两秒检查一次服务器是否宕机
weight -20 #如果条件成立的话，则权重 -20
}
# 定义虚拟路由，VI_1 为虚拟路由的标示符，自己定义名称
vrrp_instance VI_1 {
state BACKUP #来决定主从
interface eth0 # 绑定虚拟 IP 的网络接口，根据自己的机器填写 输入ip a查询inet后是eth几
virtual_router_id 122 # 虚拟路由的 ID 号， 两个节点设置必须不一样
mcast_src_ip 10.211.55.1 #填写本机ip
priority 100 # 节点优先级,主要比从节点优先级高
nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
advert_int 1 # 组播信息发送间隔，两个节点设置必须一样，默认 1s
authentication {
auth_type PASS
auth_pass 1111
}
# 将 track_script 块加入 instance 配置块
track_script {
chk_nginx #执行 Nginx 监控的服务
}

virtual_ipaddress {
192.168.11.12 # 主从一致 虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展，用途广泛。可配置多个。
}
}
相比主服务器 ，输入ip a   发 inet并没有显示多一行虚拟地址ip

原因：虚拟ip在主服务器内，并没有在从服务器，因为ip地址不允许有重复的

模拟让主服务器停止    service keepalived stop   再在从服务器输入  ip a

从服务器获得了虚拟ip   显示：   inet 192.168.11.12/32 scope global eth0

keepalived2.0安装配置参考：

https://www.jianshu.com/p/cf7601437ecc

这样，nginx+keepalived实现的高可用就完成了，

总结一下：

1、主nginx和备nginx都需要安装keepalived，且都需要运行keepalived

2、keepalived只能负责自己服务器的nginx，当主服务器keepalive挂掉，从服务器获得主服务器的虚拟ip。记住！！！虚拟ip在哪，请求就交给哪个nginx处理。主服务器keepalived没挂掉，主服务器就有虚拟ip，访问虚拟ip则访问主服务器的nginx，主服务器keepalived挂掉，则从服务器获得虚拟ip，访问虚拟ip则访问从服务器的nginx。

3、只要keepalived不挂，nginx就不会挂，即使你手动杀掉nginx进程，keepalived也会通过脚本重启nginx。

总结起来一句：此处的keepalived作用就是：①主从虚拟ip自动切换(即自动故障迁移)  ②nginx自动重启

主keepalived挂，从nginx工作，主keepalived工作，从nginx休息，主nginx工作，keepalived不挂，所在的nginx也不会挂

举一反三：如果tomcat挂掉了，该怎么处理？

答：首先我们nginx会访问tomcat，如果访问对应的tomcat挂掉，则会采用服务器宕机轮询配置规则(上面提到了)，即一定时间内，tomcat无响应则自动轮询下一台服务器，其次，还要使用keepalived重启宕机的tomcat，本质上跟上面的配置一样，只需要修改tomcat重启脚本即可
————————————————
版权声明：本文为CSDN博主「itcats_cn」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/itcats_cn/article/details/82454657