基于Keepalived的高可用IPVS集群
前言:
我们已经讲到了用LVS搭建集群服务,虽然确实可以提高了服务的负载能力,但是,却依然存在着不少问题,比如调度器的单点,不能实时检测后端服务器的健康状态。所以我们希望可以实现调度器有主备,一台服务器挂掉另外一台立马自动换上,并能根据后端服务器的健康状况增加删除RS。此处就这用到本次要讲到的keepalived了。当然keepalived不仅仅能实现ipvs集群的高可用,只是本次先在ipvs上加入高可用。
正文:
keepalived主要有三个组建组成,即vrrp stack,ipvs wrapper,checkers,分别用于实现主备,管理ipvs规则以及健康状态检测。
vrrp虚拟路由冗余协议,其实是为了解决局域网中配置静态网关出现单点失效的路由协议。在此主要是为了解决VS单点失效,我们可以拿两台设备做调度器,并把两个设备虚拟成一台设备,并用一个叫做虚拟路由id的东东标识这个虚拟设备,并且给这个虚拟设备一个ip地址,两台设备中优先级高的设备就是主设备,其他设备就作为从设备,主设备会获得到这个虚拟设备的ip,当主设备由于某种原因挂掉时,从设备就或者这个虚拟设备的ip,从而提供服务,所以简单的主备模式,就一台设备工作,另外一台作为备用。那备用设备是怎么知道主设备是否在线呢?相当于两个人在不同的房间,为了确定一个是否存在,让他一直发出声音让其他人确定他还存在就好了~所以,主备设备也是如此,不过因为只需要很小的范围内传播,所以我们此处用到的并非广播,而是多播而已。
keepalived可以通过配置文件来设置lvs,与健康状态检测一起来对ipvs进行动态管理。如果我们配置了2台RS,keepalived会根据RS的健康状态配置ipvs规则,如果某台设备down掉,请求就不会转发到此台设备,那如果两台都挂掉怎么办?我们可以让调度器呈现一个sorry server来提示用户,服务不可用等等。
我们在上篇博客的实现上继续加入keepalived功能把~为了实现高可用,我们在加入一台设备用来当VS的备用设备。其ip为172.16.53.104,两台RS的配置不变,我们直接清空以前的ipvs配置就好。keepalived的配置分三个部分,分别是全局配置,vrrp相关配置和lvs的配置。调度器的配置如下:
#172.16.53.100
ipvsadm -C #情况以前的配置
ifconfig eno16777736:0 172.16.53.50 netmask 255.255.255.255 broadcast 172.16.53.50 down
以前手动配置的VIP也down掉
以下配置主备两天设备基本相同
yum install keepalived -y
cd /etc/keepalived
mv keepalived.conf{,.bak} #把默认配置当成备份
vim keepalived.conf
global_defs { #全局配置
notification_email {
root@localhost #设置提示邮件的接收者,调度器状态转换时可以发送邮件提醒
}
notification_email_from keepalived@localhost #邮件发送者
smtp_server 127.0.0.1 #邮件的服务器地址
smtp_connect_timeout 30 #邮件服务连接超时时间
router_id node1 #标识一台设备
vrrp_mcast_group4 224.0.100.99 #用来通告在线的多播地址
}
vrrp_instance VI_1 { #vrrp配置
state BACKUP #这里是初始状态为从设备,104是主设备此处就为MASTER
interface eno16777736 #虚拟ip设置在哪个接口上
virtual_router_id 99 #标识一台虚拟设备,因为可以配置多个vrrp虚拟设备
priority 98 #优先级,优先级高的为主设备
advert_int 1 #vrrp通告的时间间隔;
authentication { #认证相关,所有设备必须一样
auth_type PASS
auth_pass 571f97b2 #只有前8位有效
}
virtual_ipaddress { #传说中的虚拟IP咯
172.16.53.50/16 dev eno16777736 #ip和所在的接口
}
}
virtual_server 172.16.53.50 80 { #lvs相关的配置咯~
delay_loop 3 #服务轮询的时间间隔;
lb_algo rr #定义调度方法为轮询
lb_kind DR #定义集群类型,这个要依赖不同的网络架构哟
protocol TCP #服务协议,仅支持TCP
sorry_server 127.0.0.1 80 #sorry server的地址,我们用本机
real_server 172.16.53.101 80 { #定义RS
weight 1 #权值,有的调度算法会用到
HTTP_GET { #健康检测,检测http的get
url {
path / #定义监控的url
status_code 200 #返回值为200就为健康
}
connect_timeout 1 #连接超时时长
nb_get_retry 3 #重试次数
delay_before_retry 1 #重试之前的延时时长
}
}
real_server 172.16.53.102 80 { #第二个RS
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 1
nb_get_retry 3
delay_before_retry 1
}
}
}
systemctl start keepalived #启动服务
ipvsadm -Ln #查看是否有相应的ipvs规则
yum install httpd -y #配置sorry server
vim /var/www/html/index.html
sorry,our system is being maintained
systemctl start httpd #启动sorry server
两个VS的配置基本一致,除了state设置不同以外。虽然我们演示的是http的负载均衡,健康状态检测以及高可用,不过任何的服务都是支持的~毕竟lvs是4层的东东~其它的服务得用到TCP_CHECK字段的配置了。此处就不再详细描述了。直接给出简要的配置说明吧。
TCP_CHECK {
connect_ip <IP ADDRESS>:向当前RS的哪个IP地址发起健康状态检测请求
connect_port <PORT>:向当前RS的哪个PORT发起健康状态检测请求
bindto <IP ADDRESS>:发出健康状态检测请求时使用的源地址;
bind_port <PORT>:发出健康状态检测请求时使用的源端口;
connect_timeout <INTEGER>:连接请求的超时时长;
}
我们所演示的配置为一主一从,如果我们想实现两个RS同时调度请求该怎么办?我们可以在两台设备上弄两个虚拟设备,所以就有两个虚拟ip,在一个虚拟设备中,VS1为主,VS2为从,另一个虚拟设备中VS1为从,VS2为主,然后用dns把一个域名解析到两个ip,因为dns本身就会去进行轮询两个ip,所以就实现了两个调度器的负载均衡~在此处就不做演示了,和上面配置大同小异。此处只是给出一个思路。
一些关于Keepalived相关教程集合: