安科网

k8s部署---多节点部署与负载均衡搭建（五）

tinydu

tinydu

2020-02-12

关注 关注
多节点部署介绍
  • 在生产环境中，搭建kubernetes平台时我们同时会考虑平台的高可用性，kubenetes平台是由master中心管理机制，由master服务器调配管理各个节点服务器，在之前的文章中我们搭建的是单节点（一个master服务器）的部署，当master服务器宕机时，我们的搭建的平台也就无法使用了，这个时候我们就要考虑多节点（多master）的部署，已到平台服务的高可用性。

负载均衡介绍

  • 在我们搭建多节点部署时，多个master同时运行工作，在处理工作问题时总是使用同一个master完成工作，当master服务器面对多个请求任务时，处理速度就会变慢，同时其余的master服务器不处理请求也是一种资源的浪费，这个时候我们就考虑到做负载均衡服务

  • 本次搭建负载均衡使用nginx服务做四层负载均衡，keepalived做地址飘逸

实验部署

实验环境

  • lb01：192.168.80.19 （负载均衡服务器）
  • lb02：192.168.80.20 （负载均衡服务器）
  • Master01:192.168.80.12
  • Master01:192.168.80.11
  • Node01:192.168.80.13
  • Node02:192.168.80.14

多master部署

  • master01服务器操作
    [ kubeconfig]# scp -r /opt/kubernetes/ :/opt     //直接复制kubernetes目录到master02
The authenticity of host ‘192.168.80.11 (192.168.80.11)‘ can‘t be established.
ECDSA key fingerprint is SHA256:Ih0NpZxfLb+MOEFW8B+ZsQ5R8Il2Sx8dlNov632cFlo.
ECDSA key fingerprint is MD5:a9:ee:e5:cc:40:c7:9e:24:5b:c1:cd:c1:7b:31:42:0f.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added ‘192.168.80.11‘ (ECDSA) to the list of known hosts.
‘s password:
token.csv                                                                  100%   84    61.4KB/s   00:00
kube-apiserver                                                             100%  929     1.6MB/s   00:00
kube-scheduler                                                             100%   94   183.2KB/s   00:00
kube-controller-manager                                                    100%  483   969.2KB/s   00:00
kube-apiserver                                                             100%  184MB 106.1MB/s   00:01
kubectl                                                                    100%   55MB  85.9MB/s   00:00
kube-controller-manager                                                    100%  155MB 111.9MB/s   00:01
kube-scheduler                                                             100%   55MB 115.8MB/s   00:00
ca-key.pem                                                                 100% 1675     2.7MB/s   00:00
ca.pem                                                                     100% 1359     2.6MB/s   00:00
server-key.pem                                                             100% 1679     2.5MB/s   00:00
server.pem                                                                 100% 1643     2.7MB/s   00:00
[ kubeconfig]# scp /usr/lib/systemd/system/{kube-apiserver,kube-controller-manager, kube-scheduler}.service :/usr/lib/systemd/system    //复制master中的三个组件启动脚本
‘s password:
kube-apiserver.service                                                     100%  282   274.4KB/s   00:00
kube-controller-manager.service                                            100%  317   403.5KB/s   00:00
kube-scheduler.service                                                     100%  281   379.4KB/s   00:00
[ kubeconfig]# scp -r /opt/etcd/ :/opt/    //特别注意：master02一定要有 etcd证书，否则apiserver服务无法启动 拷贝master01上已有的etcd证书给master02使用
‘s password:
etcd                                                                       100%  509   275.7KB/s   00:00
etcd                                                                       100%   18MB  95.3MB/s   00:00
etcdctl                                                                    100%   15MB  75.1MB/s   00:00
ca-key.pem                                                                 100% 1679   941.1KB/s    00:00
ca.pem                                                                     100% 1265     1.6MB/s   00:00
server-key.pem                                                             100% 1675     2.0MB/s   00:00
server.pem                                                                 100% 1338     1.5MB/s   00:00
  • master02服务器操作
    [ ~]# systemctl stop firewalld.service     //关闭防火墙
[ ~]# setenforce 0                        //关闭selinux
[ ~]# vim /opt/kubernetes/cfg/kube-apiserver     //更改文件
...
--etcd-servers=https://192.168.80.12:2379,https://192.168.80.13:2379,https://192.168.80.14:2379 --bind-address=192.168.80.11 \       //更改IP地址
--secure-port=6443 --advertise-address=192.168.80.11 \   //更改IP地址
--allow-privileged=true --service-cluster-ip-range=10.0.0.0/24 ...
:wq
[ ~]# systemctl start kube-apiserver.service   //启动apiserver服务
[ ~]# systemctl enable kube-apiserver.service  //设置开机自启
Created symlink from /etc/systemd/system/multi-user.target.wants/kube-apiserver.service to /usr/lib/ systemd/system/kube-apiserver.service.
[ ~]# systemctl start kube-controller-manager.service   //启动controller-manager
[ ~]# systemctl enable kube-controller-manager.service  //设置开机自启
Created symlink from /etc/systemd/system/multi-user.target.wants/kube-controller-manager.service to /usr/lib/systemd/system/kube-controller-manager.service. 
[ ~]# systemctl start kube-scheduler.service            //启动scheduler
[ ~]# systemctl enable kube-scheduler.service           //设置开机自启
Created symlink from /etc/systemd/system/multi-user.target.wants/kube-scheduler.service to /usr/lib/ systemd/system/kube-scheduler.service.
[ ~]# vim /etc/profile       //编辑添加环境变量
...
export PATH=$PATH:/opt/kubernetes/bin/
:wq
[ ~]# source /etc/profile     //重新执行
[ ~]# kubectl get node        //查看节点信息
NAME            STATUS   ROLES    AGE    VERSION
192.168.80.13   Ready    <none>   146m   v1.12.3
192.168.80.14   Ready    <none>   144m   v1.12.3    //多master配置成功

负载均衡部署

  • lb01、lb02同步操作

    [ ~]# systemctl stop firewalld.service
[ ~]# setenforce 0
[ ~]# vim /etc/yum.repos.d/nginx.repo   //配置nginx服务yum源
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
:wq
[ yum.repos.d]# yum list     //重新加载yum
已加载插件：fastestmirror
base                                                                                  | 3.6 kB  00:00:00
extras                                                                                | 2.9 kB   00:00:00
...
[ yum.repos.d]# yum install nginx -y     //安装nginx服务 
已加载插件：fastestmirror
Loading mirror speeds from cached hostfile
* base: mirrors.aliyun.com
* extras: mirrors.163.com
...
[ yum.repos.d]# vim /etc/nginx/nginx.conf    //编辑nginx配置文件
...
events {
worker_connections  1024;
}

stream {                     //添加四层转发模块
log_format main ‘$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent‘;
access_log /var/log/nginx/k8s-access.log main;

upstream k8s-apiserver {
    server 192.168.80.12:6443;          //注意IP地址
    server 192.168.80.11:6443;
}
server {
    listen 6443;
    proxy_pass k8s-apiserver;
}
}

http {
include       /etc/nginx/mime.types;
default_type  application/octet-stream;
...
:wq
[ yum.repos.d]# systemctl start nginx       //启动nginx服务 可以在浏览器中访问测试nginx服务
[ yum.repos.d]# yum install keepalived -y    //安装keepalived服务 
已加载插件：fastestmirror
Loading mirror speeds from cached hostfile
* base: mirrors.aliyun.com
* extras: mirrors.163.com
...
[ yum.repos.d]# mount.cifs //192.168.80.2/shares/K8S/k8s02 /mnt/     //挂载宿主机目录
Password for //192.168.80.2/shares/K8S/k8s02:
[ yum.repos.d]# cp /mnt/keepalived.conf /etc/keepalived/keepalived.conf  //复制准备好的  keepalived配置文件覆盖源配置文件
cp：是否覆盖"/etc/keepalived/keepalived.conf"？ yes
[ yum.repos.d]# vim /etc/keepalived/keepalived.conf       //编辑配置文件
...
vrrp_script check_nginx {
script "/etc/nginx/check_nginx.sh"    //注意脚本位置修改
}

vrrp_instance VI_1 {
state MASTER
interface ens33            //注意网卡名称
virtual_router_id 51   //VRRP 路由 ID实例，每个实例是唯一的
priority 100           //优先级，备服务器设置 90
advert_int 1            //指定VRRP 心跳包通告间隔时间，默认1秒
authentication {
    auth_type PASS
    auth_pass 1111
}
virtual_ipaddress {
    192.168.80.100/24       //飘逸地址
}
track_script {
    check_nginx
}
}
//删除下面所有内容
:wq

  • lb02服务器keepalived配置文件修改

    [ ~]# vim /etc/keepalived/keepalived.conf
...
vrrp_script check_nginx {
script "/etc/nginx/check_nginx.sh"    //注意脚本位置修改
}

vrrp_instance VI_1 {
state BACKUP         //修改角色为backup
interface ens33      //网卡名称
virtual_router_id 51   //VRRP 路由 ID实例，每>个实例是唯一的
priority 90       //优先级，备服务器设置 90
advert_int 1      //指定VRRP 心跳包通告间隔时间，默认1秒
authentication {
    auth_type PASS
    auth_pass 1111
}
virtual_ipaddress {
    192.168.80.100/24       //虚拟IP地址
}
track_script {
    check_nginx
}
}
//删除下面所有内容
:wq

  • lb01、lb02同步操作

    [ yum.repos.d]# vim /etc/nginx/check_nginx.sh   //编辑判断nginx状态脚本
count=$(ps -ef |grep nginx |egrep -cv "grep|$$")

if [ "$count" -eq 0 ];then
systemctl stop keepalived
fi
:wq
chmod +x /etc/nginx/check_nginx.sh     //添加脚本执行权限
[ yum.repos.d]# systemctl start keepalived     //启动服务
  • lb01服务器操作
    [ ~]# ip a      //查看地址信息
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
   valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
   valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:e9:04:ba brd ff:ff:ff:ff:ff:ff
inet 192.168.80.19/24 brd 192.168.80.255 scope global ens33
   valid_lft forever preferred_lft forever
inet 192.168.80.100/24 scope global secondary ens33    //虚拟地址成功配置
   valid_lft forever preferred_lft forever
inet6 fe80::c3ab:d7ec:1adf:c5df/64 scope link
   valid_lft forever preferred_lft forever
  • lb02服务器操作
    [ ~]# ip a          //查看地址信息
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
   valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
   valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:7d:c7:ab brd ff:ff:ff:ff:ff:ff
inet 192.168.80.20/24 brd 192.168.80.255 scope global ens33
   valid_lft forever preferred_lft forever
inet6 fe80::cd8b:b80c:8deb:251f/64 scope link
   valid_lft forever preferred_lft forever
inet6 fe80::c3ab:d7ec:1adf:c5df/64 scope link tentative dadfailed
   valid_lft forever preferred_lft forever       //没有虚拟IP地址 lb02属于备用服务
  • lb01服务器停止nginx服务，再次在lb02服务器IP地址，看虚拟IP地址是否成功漂移
    [ ~]# systemctl stop nginx.service
[ nginx]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
   valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
   valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:e9:04:ba brd ff:ff:ff:ff:ff:ff
inet 192.168.80.19/24 brd 192.168.80.255 scope global ens33
   valid_lft forever preferred_lft forever
inet6 fe80::c3ab:d7ec:1adf:c5df/64 scope link
   valid_lft forever preferred_lft forever
[ ~]# ip a           //在lb02服务器查看
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
   valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
   valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:7d:c7:ab brd ff:ff:ff:ff:ff:ff
inet 192.168.80.20/24 brd 192.168.80.255 scope global ens33
   valid_lft forever preferred_lft forever
inet 192.168.80.100/24 scope global secondary ens33      //漂移地址转移到lb02上
   valid_lft forever preferred_lft forever
inet6 fe80::cd8b:b80c:8deb:251f/64 scope link
   valid_lft forever preferred_lft forever
inet6 fe80::c3ab:d7ec:1adf:c5df/64 scope link tentative dadfailed
   valid_lft forever preferred_lft forever
  • 在lb01服务器重新开启nginx、keepalived服务
    [ nginx]# systemctl start nginx
[ nginx]# systemctl start keepalived.service
[ nginx]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
   valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
   valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:e9:04:ba brd ff:ff:ff:ff:ff:ff
inet 192.168.80.19/24 brd 192.168.80.255 scope global ens33
   valid_lft forever preferred_lft forever
inet 192.168.80.100/24 scope global secondary ens33     //漂移地址被抢占回来  因为配置了优先级
   valid_lft forever preferred_lft forever
inet6 fe80::c3ab:d7ec:1adf:c5df/64 scope link
   valid_lft forever preferred_lft forever
  • 在所有的node节点修改配置文件
    [ ~]# vim /opt/kubernetes/cfg/bootstrap.kubeconfig
...
server: https://192.168.80.100:6443
...
:wq
[ ~]# vim /opt/kubernetes/cfg/kubelet.kubeconfig
...
server: https://192.168.80.100:6443
...
:wq
[ ~]# vim /opt/kubernetes/cfg/kube-proxy.kubeconfig
...
server: https://192.168.80.100:6443
...
:wq
[ ~]# systemctl restart kubelet.service    //重启服务
[ ~]# systemctl restart kube-proxy.service
  • 在lb01服务器查看日志信息
    [ nginx]# tail /var/log/nginx/k8s-access.log
192.168.80.13 192.168.80.12:6443 - [11/Feb/2020:15:23:52 +0800] 200 1118
192.168.80.13 192.168.80.11:6443 - [11/Feb/2020:15:23:52 +0800] 200 1119
192.168.80.14 192.168.80.12:6443 - [11/Feb/2020:15:26:01 +0800] 200 1119
192.168.80.14 192.168.80.12:6443 - [11/Feb/2020:15:26:01 +0800] 200 1120

    多节点搭建与负载均衡配置完成

负载均衡 k8s kubernetes

tinydu

tinydu

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

Kubernetns LB方案：无需云厂商的动态DNS和负载均衡

本文转载自微信公众号「新钛云服」，作者祝祥 翻译 。我们经常谈论托管Kubernetes或在云中运行的Kubernetes，但我们也在非云的环境上运行Kubernetes。您可能还会听到很多有关云供应商集成的经典案例：您可以获取无密码凭据来访问托管服务，无

YzhilongY 2020-08-31

ASP.NET Core3.1 Ocelot负载均衡的实现

Ocelot可以在每个路由的可用下游服务中实现负载均衡，这使我们更有效地选择下游服务来处理请求。LeastConnection：根据服务正在处理请求量的情况来决定哪个服务来处理新请求，即将新请求发送到具有最少现有请求的服务去处理。算法状态没有分布在Ocel

azhuye 2020-11-12

TCP接入层的负载均衡、高可用、扩展性架构

今天和大家系统性聊聊TCP的负载均衡，高可用，与扩展性架构。互联网架构中，web-server接入一般使用nginx来做反向代理，实施负载均衡。整个架构分三层：。上游调用层，一般是browser或者APP;中间反向代理层，nginx;下游真实接入集群，we

liupengqwert 2020-10-28

.Net Core + Nginx实现项目负载均衡的全步骤

nginx大家如果没用过那或多或少都应该听过，vue的部署、反向代理、负载均衡nginx都能帮你做到。今天主要说一下nginx负载均衡我们的项目，如下图所示,请求到达nginx，nginx再帮我们转发。运行容器，将本地的8080端口映射到容器内部的 80

crazyjingling 2020-08-16

nginx实现负载均衡

负载均衡初步完成了。upstream按照轮询（默认）方式进行负载，每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。增加 weight 参数，指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。如下所

swtIrene 2020-08-14

nginx实现负载均衡，引入第三方fair

nginx实现负载均衡，按后端服务器的响应时间来分配请求，响应时间短的优先分配。需要使用fair参数（第三方）；放入指定目录中。进入nginx目录执行操作，注：安装了nginx和还未安装nginx执行的命令不一样，这里用的是已经安装了nginx使用的命令。

slovyz 2020-08-14

双机热备和负载均衡的区别

好处在于成本投入低，安装配置跟管理上要轻松许多

YzhilongY 2020-08-13

Azure Application Gateway（一）对后端 Web App 进行负载均衡

　　今天，我们学习一个新的知识点-----Azure Application Gateway，通过Azure 应用程序网关为我么后端的服务提供负载均衡的功能。我们再文章头中大概先了解一下什么是应用程序网关。2，SKU为 “Standard” 或者 “WAF

tinydu 2020-08-09

关于Nginx的正向代理与反向代理

Nginx是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器；同时也是一个IMAP、POP3、SMTP代理服务器；Nginx可以作为一个HTTP服务器进行网站的发布处理，另外Nginx可以作为反向代理进行负载均衡的实现。说反向代理之前，我们先看看

tinydu 2020-08-03

nginx 负载均衡

nginx可以实例负载均衡。准备工作操作系统：欧拉2.8 armecs-cecd-0002：192.168.0.141 #Nginx服务器ecs-cecd-0001：192.168.0.8 #Web服务器ecs-cecd-0003：192.168

Studynutlee 2020-08-03

对 AWS Google Azure 三家全球负载均衡的延迟情况做个评测

说到 AWS、Google、Azure 的全球负载均衡，那我们需要了解一下 Anycast IP。我们知道，在互联网中的公网 IP 是唯一的，正常来说，一个网络中不应该有两个相同的 IP，那么 Anycast protocol 就是这么一项可以让一个 IP

快乐de馒头 2020-07-29

软件开发中的负载均衡

优先权的方式是将服务分组，优先权是针对组的，组内仍使用负载算法。当整个组达到访问阈值时，切换到另一分组。通过应用层（七层）http/https/ws，三次握手后，通过解析应用层内容数据信息进行负载， nginx、HAProxy等如果服务不是基于应用层，那么

yungame 2020-07-27

CDN简介

cdn是把原本需要集中获取的资源缓存到边缘节点，使用户就近访问。通过在网络中增加一层缓存层，通过全局负载技术将源站的资源分发到里用户最近的网络边缘节点上，使缓存服务器响应用户请求，从而达到快速访问的目的。广泛分布的CDN节点及只能冗余机制能有效地防止黑客入

buaichidoufu 2020-07-28

lvs-dr实现mysql负载均衡集群

服务器的操作系统均为centos7,vip和rip在同一网段,使用lvs-dr模型来实现mysql集群服务。MariaDB []> grant all on *.* to ‘root‘@‘192.168.%.%‘ identified by ‘123

wanjichun 2020-07-26

Azure Load Balancer（一） 为我们的Web项目提供负载均衡

　　上节，我们讲到使用 Azure Traffic Manager 为我们的 Demo 项目提供负载均衡，以及流量转发的功能。但是Azure 提供类似的功能的服务远远不止这一个，今天我们就来讲一下 Azure Load Balance ,通过它来实现负载均

极地雪狼 2020-07-26

Nginx -负载均衡配置

在两台 tomcat 里面 webapps 目录中，创建名称是 edu 文件夹，在 edu 文件夹中创建 页面 a.html，用于测试。第一种 轮询（默认） 每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器 down 掉，能自动剔除。　　指定轮

yungame 2020-07-04

nginx负载均衡的5种策略

nginx可以根据客户端IP进行负载均衡，在upstream里设置ip_hash，就可以针对同一个C类地址段中的客户端选择同一个后端服务器，除非那个后端服务器宕了才会换一个。upstream backserver {server 192.168.0.14;

畅聊架构 2020-06-28

golang实现负载均衡算法

data := fmt.Sprintf("[%s] http://%s%s \n\n",rs.Addr,rs.Addr,r.RequestURI). fmt.Println("Http server tart to serve

极地雪狼 2020-06-27

一篇文章让你搞懂 Nginx 的负载均衡

所谓负载均衡，就是 Nginx 把请求均匀的分摊给上游的应用服务器，这样即使某一个服务器宕机也不会影响请求的处理，或者当应用服务器扛不住了，可以随时进行扩容。在 x 轴上，可以通过横向扩展应用服务器集群，Nginx 基于 Round-Robin 或者 L

廖先贵 2020-06-23

openresty用haproxy2.0实现负载均衡

yum install pcre-devel openssl-devel gcc curl wget. built by gcc 8.3.1 20190311 (Red Hat 8.3.1-3) (GCC). listen 801;server_name

zllbirdonland 2020-06-16
tinydu

tinydu

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号