基于 kubeadm 搭建高可用的kubernetes 1.18.2 (k8s)集群一环境准备

技术积累LZ

2020-05-28

本k8s集群参考了 Michael 的 https://gitee.com/pa/kubernetes-ha-kubeadm-private 这个项目，再此表示感谢！
Michael的项目k8s版本为1.14.0，笔者基于他的项目进行改进，填了不少坑，搭建了 kubernetes 1.18.2高可用集群，特将搭建过程进行记录
详细信息请参考本人的git仓库地址为 https://gitee.com/salmon_163/kubernetes-ha-kubeadm.git
kubernetes 组建的版本都全面升级了，dashboard版本升级到2.0.1，详细内容请参考文档

1. 服务器说明

我们这里使用的是五台centos-7.6的虚拟机，具体信息如下表：

系统类型	IP地址	节点角色	CPU	Memory	Hostname
centos-7.8	172.16.249.130	master	>=2	>=2G	m1
centos-7.8	172.16.249.131	master	>=2	>=2G	m2
centos-7.8	172.16.249.132	master	>=2	>=2G	m3
centos-7.8	172.16.249.135	worker	>=2	>=2G	s1
centos-7.8	172.16.249.136	worker	>=2	>=2G	s2

2. 系统设置（所有节点）

2.1 主机名

主机名必须每个节点都不一样，并且保证所有点之间可以通过hostname互相访问。

# 查看主机名
$ hostname
# 修改主机名
$ hostnamectl set-hostname <your_hostname>
# 配置host，使所有节点之间可以通过hostname互相访问
$ vi /etc/hosts
# <node-ip> <node-hostname>

2.2 安装依赖包

# 更新yum
$ yum update
# 安装依赖包
$ yum install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp

2.3 关闭防火墙、swap，重置iptables

# 关闭防火墙
$ systemctl stop firewalld && systemctl disable firewalld
# 重置iptables
$ iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT
# 关闭swap
$ swapoff -a
# 使用下面的命令对文件/etc/fstab操作，注释 /dev/mapper/centos_master-swap  swap  swap    defaults        0 0 这行
$ sed -i ‘s/.*swap.*/#&/‘ /etc/fstab
# 关闭selinux
$ vim /etc/selinux/config 
# 将SELINUX=enforcing改为SELINUX=disabled
$ setenforce 0
# 查看selinux状态
$ sestatus
# 关闭dnsmasq(否则可能导致docker容器无法解析域名)
$ service dnsmasq stop && systemctl disable dnsmasq

2.4 系统参数设置

# 制作配置文件
$ cat > /etc/sysctl.d/kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
EOF
# 生效文件
$ sysctl -p /etc/sysctl.d/kubernetes.conf
# 执行sysctl -p 时出现下面的错误
sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-ip6tables: No such file or directory
sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-iptables: No such file or directory
# 解决方法：运行命令 modprobe br_netfilter 然后再执行 sysctl -p /etc/sysctl.d/kubernetes.conf
$ modprobe br_netfilter
# 查看
$ ls /proc/sys/net/bridge
bridge-nf-call-arptables bridge-nf-filter-pppoe-tagged
bridge-nf-call-ip6tables bridge-nf-filter-vlan-tagged
bridge-nf-call-iptables bridge-nf-pass-vlan-input-dev

3. 安装docker（所有节点）

# 1. 方法一: 通过yum源的方式安装
# 创建所需目录
$ mkdir -p /opt/kubernetes/docker && cd /opt/kubernetes/docker
# 清理原有版本, 如果系统没有安装过跳过
$ yum remove -y docker* container-selinux
# 安装依赖包
$ yum install -y yum-utils device-mapper-persistent-data lvm2
# 设置yum源
$ yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# 可以查看所有仓库中所有docker版本，并选择特定版本安装：
$ yum list docker-ce --showduplicates | sort -r
# 安装指定版本docker, 如果不指定版本号，将安装最新版本的docker
$ sudo yum install -y docker-ce-<VERSION_STRING> docker-ce-cli-<VERSION_STRING> containerd.io
# 示例-安装docker版本是: 19.03.8
$ yum install -y docker-ce-19.03.8 docker-ce-cli-19.03.8 containerd.io
# 开机启动
$ systemctl enable docker && systemctl start docker

# 2. 方法二: 通过rpm方式安装
# 手动下载rpm包【示例docker 19.03.8版本的安装】
$ wget https://download.docker.com/linux/centos/7/x86_64/stable/Packages/containerd.io-1.2.13-3.2.el7.x86_64.rpm
$ wget https://download.docker.com/linux/centos/7/x86_64/stable/Packages/docker-ce-19.03.8-3.el7.x86_64.rpm
$ wget https://download.docker.com/linux/centos/7/x86_64/stable/Packages/docker-ce-cli-19.03.8-3.el7.x86_64.rpm
# 安装rpm包
$ yum localinstall -y *.rpm
# 开机启动
$ systemctl enable docker && systemctl start docker


# 设置参数
# 1.查看磁盘挂载
$ df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        98G  2.8G   95G   3% /
devtmpfs         63G     0   63G   0% /dev
/dev/sda5      1015G  8.8G 1006G   1% /tol
/dev/sda1       197M  161M   37M  82% /boot
# 2.设置docker启动参数
# - 设置docker数据目录：选择比较大的分区（我这里是根目录就不需要配置了，默认为/var/lib/docker）
# - 设置cgroup driver, 防止文件驱动不一致，导致镜像无法启动（默认是cgroupfs，主要目的是与kubelet配置统一，这里也可以不设置后面在kubelet中指定cgroupfs）
# docker info 可以查看到cgroup driver的类型
$ cat <<EOF > /etc/docker/daemon.json
{
    "graph": "/docker/data/path",
    "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
# 启动docker服务
systemctl start docker

# daemon.json 详细配置示例
{
  "debug": false,
  "experimental": false,
  "graph": "/home/docker-data",
  "exec-opts": ["native.cgroupdriver=systemd"],
  "registry-mirrors": [
    "https://fy707np5.mirror.aliyuncs.com"
  ],
  "insecure-registries": [
    "hub.zy.com",
    "172.16.249.159:8082"
  ]
}
# 启动docker服务
systemctl restart docker

4. 安装必要工具（所有节点）

4.1 工具说明

kubeadm: 部署集群用的命令
kubelet: 在集群中每台机器上都要运行的组件，负责管理pod、容器的生命周期
kubectl: 集群管理工具（可选，只要在控制集群的节点上安装即可）

4.2 安装方法

# 配置yum源（网络不受限制可以把"mirrors.aliyun.com"替换为"packages.cloud.google.com"）
$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 安装工具
# 找到要安装的版本号
$ yum list kubeadm --showduplicates | sort -r

# 安装指定版本（这里用的是1.18.2）
$ yum install -y kubeadm-1.18.2-0 kubelet-1.18.2-0 kubectl-1.18.2-0 --disableexcludes=kubernetes

# 设置kubelet的cgroupdriver（kubelet的cgroupdriver默认为systemd，如果上面没有设置docker的exec-opts为systemd，这里就需要将kubelet的设置为cgroupfs）
$ sed -i "s/cgroup-driver=systemd/cgroup-driver=cgroupfs/g" /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

# 启动kubelet 所有的节点
$ systemctl enable kubelet && systemctl start kubelet

5. 准备配置文件（任意节点）

5.1 下载配置文件

我这准备了一个项目，专门为大家按照自己的环境生成配置的。它只是帮助大家尽量的减少了机械化的重复工作。它并不会帮你设置系统环境，不会给你安装软件。总之就是会减少你的部署工作量，但不会耽误你对整个系统的认识和把控。

$ cd ~ && git clone https://gitee.com/salmon_163/kubernetes-ha-kubeadm.git
# 看看git内容
$ ls -l kubernetes-ha-kubeadm
addons/
configs/
scripts/
init.sh
global-configs.properties

5.2 文件说明

addons

kubernetes的插件，比如calico和dashboard。

configs

包含了部署集群过程中用到的各种配置文件。

scripts

包含部署集群过程中用到的脚本，如keepalive检查脚本。

global-configs.properties

全局配置，包含各种易变的配置内容。

init.sh

初始化脚本，配置好global-config之后，会自动生成所有配置文件。

5.3 生成配置

这里会根据大家各自的环境生成kubernetes部署过程需要的配置文件。

此脚本不支持MACOS系统，切记不要使用MACOS来运行 init.sh

# cd到之前下载的git代码目录
$ cd kubernetes-ha-kubeadm

# 编辑属性配置（根据文件注释中的说明填写好每个key-value）
$ vi global-config.properties

# 生成配置文件，确保执行过程没有异常信息
$ ./init.sh

# 查看生成的配置文件，确保脚本执行成功
$ find target/ -type f

执行init.sh常见问题：
Syntax error: "(" unexpected
bash版本过低，运行：bash -version查看版本，如果小于4需要升级
不要使用 sh init.sh的方式运行（sh和bash可能不一样哦）
global-config.properties文件填写错误，需要重新生成
再执行一次./init.sh即可，不需要手动删除target

技术积累LZ

0 关注 0 粉丝 0 动态

关注关注

安科网

基于 kubeadm 搭建高可用的kubernetes 1.18.2 (k8s)集群一 环境准备

技术积累LZ

1. 服务器说明

2. 系统设置（所有节点）

2.1 主机名

2.2 安装依赖包

2.3 关闭防火墙、swap，重置iptables

2.4 系统参数设置

3. 安装docker（所有节点）

4. 安装必要工具（所有节点）

4.1 工具说明

4.2 安装方法

5. 准备配置文件（任意节点）

5.1 下载配置文件

5.2 文件说明

5.3 生成配置

技术积累LZ

技术积累LZ

基于 kubeadm 搭建高可用的kubernetes 1.18.2 (k8s)集群一环境准备