ILVS，是Linux Virtual Server的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目。LVS由用户空间的ipvsadm和内核空间的IPVS组成，ipvsadm用来定义规则，IPVS利用ipvsadm定义的规则工作。现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。

二、LVS特点

通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。LVS的主要特点有以下几个方面：

• 高并发连接：LVS基于内核网络层面工作，有超强的承载能力和并发处理能力。单台LVS负载均衡器，可支持上万并发连接。稳定性强：是工作在网络4层之上仅作分发之用，这个特点也决定了它在负载均衡软件里的性能最强，稳定性最好，对内存和cpu资源消耗极低。
• 成本低廉：硬件负载均衡器少则十几万，多则几十万上百万，LVS只需一台服务器和就能免费部署使用，性价比极高。
• 配置简单：LVS配置非常简单，仅需几行命令即可完成配置，也可写成脚本进行管理。
• 支持多种算法：支持多种论调算法，可根据业务场景灵活调配进行使用
• 支持多种工作模型：可根据业务场景，使用不同的工作模式来解决生产环境请求处理问题。
• 应用范围广：因为LVS工作在4层，所以它几乎可以对所有应用做负载均衡，包括http、数据库、DNS、ftp服务等等
• 缺点：工作在4层，不支持7层规则修改，机制过于庞大，不适合小规模应用。

三、LVS常见术语
LVS中有一些常见的术语，如下表所示：

名称                              解释
ipvsadm   用户空间的命令行工具，用于管理集群服务及集群服务上的RS等；
IPVS      工作于内核上的netfilter INPUT HOOK之上的程序，可根据用户定义的集群实现请求转发；
VS             Virtual Server ,虚拟服务
Director, Balancer        负载均衡器、分发器
RS             Real Server 后端请求处理服务器
CIP            Client IP,客户端IP
VIP            Director Virtual IP,负载均衡器虚拟IP
DIP            Director IP,负载均衡器IP
RIP    Real Server IP,后端请求处理服务器IP

四、LVS工作原理

如果对于iptables5条链不了解的同学，麻烦先去看下这个知识点。这5条链是当数据包流向这台服务器的时候，数据包在服务器内核中的流向。可以参考下面这篇文章：
https://blog.csdn.net/gui951753/article/details/86619021

LVS工作原理：

1. 当客户端的请求到达负载均衡器的内核空间时，首先会到达PREROUTING链。
2. 当内核发现请求数据包的目的地址是本机时，将数据包送往INPUT链。
3. LVS由用户空间的ipvsadm和内核空间的IPVS组成，ipvsadm用来定义规则，IPVS利用ipvsadm定义的规则工作，IPVS工作在INPUT链上,当数据包到达INPUT链时，首先会被IPVS检查，如果数据包里面的目的地址及端口没有在规则里面，那么这条数据包将经过INPUT链送至用户空间，交给用户空间的进程来处理。
4. 如果数据包里面的目的地址及端口在规则里面，那么这条数据报文将被修改目的地址为事先定义好的后端服务器，并送往POSTROUTING链。
5. 最后经由POSTROUTING链发往后端服务器。

五、NAT模式

LVS有很多种模式来供我们选择，生产场景中一般使用的都是NAT模式和DR模式，当然，也并不是说其他模式并不会使用，还是要根据实际的生产场景来决定选择什么样的方案。

Virtual Server via NAT(VS-NAT):用地址翻译实现虚拟服务器?地址转换器有能被外界访问到的合法IP地址,它修改来自专有网络的流出包的地址?外界看起来包是来自地址转换器本身,当外界包送到转换器时,它能判断出应该将包送到内部网的哪个节点?优点是节省IP 地址,能对内部进行伪装;缺点是效率低,因为返回给请求方的数据包经过调度器?

数据包流转的过程如上图所示：

(1)当用户请求到达DirectorServer，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP 。

(2) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链。

(3) IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。 此时报文的源IP为CIP，目标IP为RIP ，在这个过程完成了目标IP的转换。

(4) POSTROUTING链通过选路，将数据包发送给Real Server。

(5) Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。 此时报文的源IP为RIP，目标IP为CIP 。

(6) Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文的源IP为VIP，目标IP为CIP。

如下图所示，NAT模式中的一大缺点就是无论是请求的数据包，还是返回的数据包，都必须要经过负载的这个点，请求的数据包一般内容较少，问题不是很大，而返回的数据包，一般都是图片，视频等等，这会给中间的调度器带来巨大的负担。font>

六、DR模式

Virtual Server via Direct Routing(VS-DR):用直接路由技术实现虚拟服务器?当参与集群的计算机和作为控制管理的计算机在同一个网段时可以用此方法,控制管理的计算机接收到请求包时直接送到参与集群的节点?直接路由模式比较特别，很难说和什么方面相似，前种模式基本上都是工作在网络层上（三层），而直接路由模式则应该是工作在数据链路层上（二层）。

工作原理 ：

如上图所示，Director和REAL SERVER都配置同一个IP（VIP），Director将该IP配置到对外的网卡上，Real server将该IP配置到lo网卡上。配置arp_ignore为1（目的是让数据包发出apr请求时，只有Director会响应该arp请求），所有REAL SERVER对本身这个IP的ARP请求保持静默。而Director收到数据包后根据调度算法，找出对应的 REAL SERVER，把目的MAC地址改为REAL SERVER的MAC并发给这台REAL SERVER。这时REAL SERVER通过网卡eth0收到这个数据包，由于Real Server上的lo网卡配置的也有VIP,所以RS接收该数据包。处理后直接返回给客户端（这里要配置arp_announce，目的是修改返回数据包的源ip地址。）。由于DR要对二层包头进行改换，所以DR和REAL SERVER之间必须在一个广播域，也可以简单的理解为在同一台交换机上。

DR模式的特性
1、保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS

2、RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对RIP进行直接访问

3、RS跟Director Server必须在同一个物理网络中

4、所有的请求报文经由Director Server，但响应报文必须不能进过Director Server

5、不支持地址转换，也不支持端口映射

6、RS可以是大多数常见的操作系统

7、RS的网关绝不允许指向DIP

8、RS上的lo接口配置VIP的IP地址

lvs配置DR模式

准备好三台主机（分别为lvs调度器、RS1、RS2）实现DR模式的调度效果。

七、TUN工作模式

1.客户端将请求发往前端的负载均衡器，请求报文源地址是CIP，目标地址为VIP。

2.负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将在客户端请求报文的首部再封装一层IP报文,将源地址改为DIP，目标地址改为RIP,并将此包发送给RS。

3.RS收到请求报文后，会首先拆开第一层封装,然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP，所以会处理次请求报文，并将响应报文通过lo接口送给eth0网卡（这个网卡一般指和调度器在一个网段的网卡）直接发送给客户端。注意：需要设置lo接口的VIP不能在公网上出现。

八、full-nat模式

特点：
（1）RIP，DIP可以使用私有地址；
（2）RIP和DIP可以不再同一个网络中，且RIP的网关未必需要指向DIP；
（3）支持端口映射；
（4）RS的OS可以使用任意类型；
（5）请求报文经由Director，响应报文也经由Director

九、LVS调度算法介绍

LVS有两种类型的调度算法，其一就是静态的调度算法，这种算法一经实现，后续就不会发生变化，是既定的规则，后续数据包的流转都会按照这种规则进行按部就班的流转；其二就是动态的调度算法，这种算法是基于网络状况，或者后端服务器的状况，连接的状况等来进行实时的调整，算法的规则会根据实际情况而发生一定的变化。

常用的静态调度算法有以下几种：

1.RR：轮叫调度（Round Robin）
调度器通过”轮叫”调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载?

2.WRR：加权轮叫（Weight RR）
调度器通过“加权轮叫”调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

3.DH：目标地址散列调度（Destination Hash ）
根据请求的目标IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空。

4.SH：源地址 hash（Source Hash）
源地址散列”调度算法根据请求的源IP地址，作为散列键(HashKey)从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空?

常用的动态调度算法有下面这些

1.LC：最少链接（Least Connections）
调度器通过”最少连接”调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用”最小连接”调度算法可以较好地均衡负载。

2.WLC：加权最少连接(默认采用的就是这种)（Weighted Least Connections）
在集群系统中的服务器性能差异较大的情况下，调度器采用“加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载?调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。

3.SED：最短延迟调度（Shortest Expected Delay ）
在WLC基础上改进，Overhead = （ACTIVE+1）*256/加权，不再考虑非活动状态，把当前处于活动状态的数目+1来实现，数目最小的，接受下次请求，+1的目的是为了考虑加权的时候，非活动连接过多缺陷：当权限过大的时候，会倒置空闲服务器一直处于无连接状态。

4.NQ永不排队/最少队列调度（Never Queue Scheduling NQ）
无需队列。如果有台 realserver的连接数＝0就直接分配过去，不需要再进行sed运算，保证不会有一个主机很空间。在SED基础上无论+几，第二次一定给下一个，保证不会有一个主机不会很空闲着，不考虑非活动连接，才用NQ，SED要考虑活动状态连接，对于DNS的UDP不需要考虑非活动连接，而httpd的处于保持状态的服务就需要考虑非活动连接给服务器的压力。

十、ipvsadm使用指南
在ipvsadm中有几个常见术语需要解释一下：

• virtual-service-address:是指虚拟服务器的ip 地址
• real-service-address:是指真实服务器的ip 地址
• scheduler：调度方法

配置虚拟服务的语法：

ipvsadm 的用法和格式如下：

ipvsadm -A|E  -t|u|f  virutal-service-address:port [-s scheduler] [-p[timeout]] [-M netmask]
#添加/编辑一条新的虚拟服务器记录。
ipvsadm -D -t|u|f virtual-service-address
#删除一条记录
ipvsadm -C
#清除所有记录
ipvsadm -R
#恢复虚拟服务器规则
ipvsadm -S [-n]
#保存虚拟服务器规则

命令选项解释：
-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也
就是增加一台新的虚拟服务器。
-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C --clear 清除内核虚拟服务器表中的所有记录。
-R --restore 恢复虚拟服务器规则
-S --save 保存虚拟服务器规则，输出为-R 选项可读的格式
-s --scheduler scheduler 使用的调度算法，有这样几个选项
rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
-p --persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客
户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。
-M --netmask netmask persistent granularity mask

配置real server的语法

ipvsadm 的用法和格式如下：

ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface]
ipvsadm --stop-daemon
ipvsadm -h

命令选项解释：
-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器
记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l --list 显示内核虚拟服务器表
-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）

--set tcp tcpfin udp 设置连接超时值
--start-daemon 启动同步守护进程。他后面可以是master 或backup，用来说
明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的
VRRP 功能。
--stop-daemon 停止同步守护进程
-h --help 显示帮助信息

-t --tcp-service service-address 说明虚拟服务器提供的是tcp 的服务
[vip:port] or [real-server-ip:port]
-u --udp-service service-address 说明虚拟服务器提供的是udp 的服务
[vip:port] or [real-server-ip:port]
-f --fwmark-service fwmark 说明是经过iptables 标记过的服务类型。

-r --real-server server-address 真实的服务器[Real-Server:port]
-g --gatewaying 指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）
-i --ipip 指定LVS 的工作模式为隧道模式
-m --masquerading 指定LVS 的工作模式为NAT 模式
-w --weight weight 真实服务器的权值

--mcast-interface interface 指定组播的同步接口
-c --connection 显示LVS 目前的连接 如：ipvsadm -L -c
--timeout 显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout
--daemon 显示同步守护进程状态
--stats 显示统计信息
--rate 显示速率信息
--sort 对虚拟服务器和真实服务器排序输出
--numeric -n 输出IP 地址和端口的数字形式

十一、NAT和DR模式的实现

上述四种工作模式，DR模式和NAT模式是常用的两种模式，本文就只阐述这两种工作模式。

NAT模式的实现
在实现之前，要先对网段进行一定的规划，每一台服务器都去规划好它的位置，和其所承担的职责。

机器名称          IP配置                  服务角色
lvs   VIP:192.168.31.100 DIP:172.25.0.1 负载均衡器
web1    RIP:172.25.0.31                 后端服务器
web2    RIP:172.25.0.32                 后端服务器
web3    RIP:172.25.0.33                 后端服务器

其数据流转的模型如下图所示：

实现步骤：

安装相关配置工具
[ ~]# yum install ipvsadm -y

lvs-server配置：
1、ipvsadm -A -t 192.168.31.100:80 -s wrr
#开启一个基于80端口的虚拟服务，调度方式为wrr

2、ipvsadm -a -t 192.168.31.100:80  -r 172.25.0.31 -m -w 1
#配置web1服务后端real server  为nat工作方式  权重为1 

ipvsadm -a -t 192.168.31.100:80  -r 172.25.0.32 -m -w 1
#配置web2服务后端real server  为nat工作方式  权重为1 

ipvsadm -a -t 192.168.31.100:80  -r 172.25.0.33 -m -w 1
#配置web3服务后端real server  为nat工作方式  权重为1 

3、修改内核配置，开启路由转发
vim /etc/sysctl.conf 修改 net.ipv4.ip_forward=1 

sysctl -p 使其生效

5、real server配置
配置网关指向172.25.0.11，开启web、php-fpm、mysql服务

可分别在三个站点上面写上不同的内容，然后进行测试，看是否能够进行调度。
注：windows中的浏览器中一般都会有缓存，其调度可能会失效，使用Linux中的curl等命令访问则是没有问题的。能够正常的实现调度。

DR模式的实现

机器名称                 IP配置            服务角色
lvs VIP:172.25.0.100 DIP:172.25.0.1          负载均衡器
web1    RIP:172.25.0.31                  后端服务器
web2    RIP:172.25.0.32                  后端服务器
web3    RIP:172.25.0.33                  后端服务器

DR模式的配置是使用命令来实现的，故其中的一些配置在系统重启之后是不存在的，如果要想下次开机启动之后，能够自动的配置，可以将配置的步骤写成脚本，并设置开机自启动。（上面NAT模式的实现也可以设置开机自启动脚本来实现。）

十二、调度器配置

LVS调度器脚本

#!/bin/bash
# chkconfig:   2345 90 10
#LVS script for DR
. /etc/rc.d/init.d/functions
VIP=172.25.0.100
DIP=172.25.0.11
RIP1=172.25.0.31
RIP2=172.25.0.32
RIP3=172.25.0.33
PORT=80
# 
#description: hhahahah

case "$1" in
start)
  /sbin/ifconfig ens34:0 $VIP broadcast $VIP netmask 255.255.255.255 up
  /sbin/route add -host $VIP dev ens34:0

# Since this is the Director we must be able to forward packets 
  echo 1 > /proc/sys/net/ipv4/ip_forward
# 开启路由转发功能
# Clear all iptables rules. 
  /sbin/iptables -F

# Reset iptables counters. 
  /sbin/iptables -Z

# Clear all ipvsadm rules/services. 
  /sbin/ipvsadm -C

# Add an IP virtual service for VIP 192.168.0.219 port 80 
# In this recipe, we will use the round-robin scheduling method. 
# In production, however, you should use a weighted, dynamic scheduling method. 
  /sbin/ipvsadm -A -t $VIP:80 -s wrr

# Now direct packets for this VIP to 
# the real server IP (RIP) inside the cluster 
  /sbin/ipvsadm -a -t $VIP:80 -r $RIP1 -g -w 1
  /sbin/ipvsadm -a -t $VIP:80 -r $RIP2 -g -w 1
  /sbin/ipvsadm -a -t $VIP:80 -r $RIP3 -g -w 1
;;

stop)
# Stop forwarding packets 
  echo 0 > /proc/sys/net/ipv4/ip_forward

# Reset ipvsadm 
  /sbin/ipvsadm -C

# Bring down the VIP interface 
  /sbin/ifconfig ens34:0 down

#  echo "ipvs is stopped..." 
;;

*)
  echo "Usage: $0 {start|stop}" 
;;
esac

将上述内容保存在/etc/init.d/lvs-director文件中，然后添加到服务：

[ ~]# chmod +x /etc/init.d/lvs-director
# 添加脚本执行权限
[ ~]# chkconfig --add lvs-director
# 添加脚本到服务当中
[ ~]# chkconfig lvs-director on
# 设置为开机自启动服务
[ ~]# /etc/init.d/lvs-director start 
# 启动脚本

十三、WEB后端服务器配置

客户端脚本

#!/bin/bash 
# 
# Script to start LVS DR real server. 
# chkconfig: - 90 10 
# description: LVS DR real server 
# 
.  /etc/rc.d/init.d/functions

VIP=172.25.0.100

host=`/bin/hostname`

case "$1" in
start)
       # Start LVS-DR real server on this machine. 
        /sbin/ifconfig lo down
        /sbin/ifconfig lo up
        echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
        #只响应目的IP地址为接收网卡上的本地地址的arp请求
        echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
        # 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.
        echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
        #配置所有网卡只响应自己接口上的ip的arp请求，其余的忽略。
        echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
        #必须避免将接口信息向非本网络进行通告

        /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
        /sbin/route add -host $VIP dev lo:0

;;
stop)

        # Stop LVS-DR real server loopback device(s). 
        /sbin/ifconfig lo:0 down
        echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
        echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
        echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
        echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce

;;

*)
            # Invalid entry. 
            echo "$0: Usage: $0 {start||stop}" 
            exit 1
;;
esac

保存至/etc/init.d/lvs-rs，并赋予执行权限，然后添加为开机启动：

[~]# chmod +x /etc/init.d/lvs-rs
[ ~]# chkconfig --add lvs-rs
[ ~]# chkconfig lvs-rs on
[ ~]# /etc/init.d/lvs-rs start

web2和web3采用完全相同的配置即可。

实验测试
在web1、web2和web3上写入不同的站点内容，然后访问172.25.0.100。访问调度器的网址，看是否每次访问的站点内容都是不同的。（windows中的浏览器有缓存功能，如果站点内容有时候是相同的，那么不一定是自己配错了，可能是缓存的原因，避免的办法就是使用Linux的curl命令去访问站点的内容）

参考文献
十三、WEB后端服务器配置
客户端脚本

#!/bin/bash

Script to start LVS DR real server.

chkconfig: - 90 10

description: LVS DR real server

. /etc/rc.d/init.d/functions

VIP=172.25.0.100

host=/bin/hostname

case "$1" in
start)

Start LVS-DR real server on this machine.

/sbin/ifconfig lo down
    /sbin/ifconfig lo up
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    #只响应目的IP地址为接收网卡上的本地地址的arp请求
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    # 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    #配置所有网卡只响应自己接口上的ip的arp请求，其余的忽略。
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    #必须避免将接口信息向非本网络进行通告

    /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
    /sbin/route add -host $VIP dev lo:0

;;
stop)

# Stop LVS-DR real server loopback device(s). 
    /sbin/ifconfig lo:0 down
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce

;;

*)

Invalid entry.

echo "$0: Usage: $0 {start||stop}" 
        exit 1

;;
esac

保存至/etc/init.d/lvs-rs，并赋予执行权限，然后添加为开机启动：

[~]# chmod +x /etc/init.d/lvs-rs
[ ~]# chkconfig --add lvs-rs
[ ~]# chkconfig lvs-rs on
[ ~]# /etc/init.d/lvs-rs start

web2和web3采用完全相同的配置即可。

实验测试
在web1、web2和web3上写入不同的站点内容，然后访问172.25.0.100。访问调度器的网址，看是否每次访问的站点内容都是不同的。（windows中的浏览器有缓存功能，如果站点内容有时候是相同的，那么不一定是自己配错了，可能是缓存的原因，避免的办法就是使用Linux的curl命令去访问站点的内容）

参考文献
https://www.cnblogs.com/lipengxiang2009/p/7451050.html
https://www.cnblogs.com/leezhxing/p/4613500.html