kvm网络虚拟化管理

zhangsyi

2020-05-31

1. Linux Bridge网桥管理

一个网桥上添加多个虚拟机，虚拟机之间是可以相互通信的的，同时虚拟机也都可以通外网。

kvm网络虚拟化管理

kvm的网桥管理可以通过brctl命令

[ ~]# brctl
.......
 #桥    addbr           <bridge>              add bridge
        delbr           <bridge>              delete bridge
 #端口  addif           <bridge> <device>      add interface to bridge
        delif           <bridge> <device>       delete interface from bridge
        hairpin         <bridge> <port> {on|off}  turn hairpin on/off
        setageing       <bridge> <time>         set ageing time
        setbridgeprio    <bridge> <prio>         set bridge priority
        setfd           <bridge> <time>        set bridge forward delay
        sethello         <bridge> <time>        set hello time
        setmaxage       <bridge> <time>        set max message age
        setpathcost      <bridge> <port> <cost>   set path cost
        setportprio      <bridge> <port> <prio>   set port priority
        show           [ <bridge> ]            show a list of bridges
        showmacs       <bridge>              show a list of mac addrs
        showstp        <bridge>               show bridge stp info
        stp            <bridge> {on|off}        turn stp on/off
[ ~]# brctl show
bridge name     bridge id               STP enabled     interfaces
br0             8000.0050562266e7       no              ens33
virbr0          8000.5254009483b2       yes             virbr0-nic

2. VLAN

LAN 表示 Local Area Network，本地局域网，通常使用 Hub 和 Switch 来连接 LAN 中的计算机。一般来说，两台计算机连入同一个 Hub 或者 Switch 时，它们就在同一个 LAN 中。

一个 LAN 表示一个广播域。其含义是：LAN 中的所有成员都会收到任意一个成员发出的广播包。

VLAN 表示 Virtual LAN。一个带有 VLAN 功能的switch 能够将自己的端口划分出多个 LAN。计算机发出的广播包可以被同一个 LAN 中其他计算机收到，但位于其他 LAN 的计算机则无法收到。简单地说，VLAN 将一个交换机分成了多个交换机，限制了广播的范围，在二层将计算机隔离到不同的 VLAN 中。

比方说，有两组机器，Group A 和 B，我们想配置成 Group A 中的机器可以相互访问，Group B 中的机器也可以相互访问，但是 A 和 B 中的机器无法互相访问。一种方法是使用两个交换机，A 和 B 分别接到一个交换机。另一种方法是使用一个带 VLAN 功能的交换机，将 A 和 B 的机器分别放到不同的 VLAN 中。

VLAN 的隔离是二层上的隔离，A 和 B 无法相互访问指的是二层广播包（比如 arp）无法跨越VLAN 的边界。但在三层上（比如IP）是可以通过路由器让 A 和 B 互通的。

现在的交换机几乎都是支持 VLAN 的。通常交换机的端口有两种配置模式： Access 和 Trunk。如下图

kvm网络虚拟化管理

Access 口

access端口只允许一个VLAN通过。这些端口被打上了 VLAN 的标签，表明该端口属于哪个 VLAN。不同 VLAN 用 VLAN ID 来区分，VLAN ID 的范围是 1-4096。 Access 口都是直接与计算机网卡相连的，这样从该网卡出来的数据包流入 Access 口后就被打上了所在 VLAN 的标签。 Access 口只能属于一个 VLAN。

Trunk 口

假设有两个交换机 A 和 B。 A 上有 VLAN1（红）、VLAN2（黄）、VLAN3（蓝）；B 上也有 VLAN1、2、3，那如何让 AB 上相同 VLAN 之间能够通信呢？

办法是将 A 和 B 连起来，而且连接 A 和 B 的端口要允许 VLAN1、2、3 三个 VLAN 的数据都能够通过。这样的端口就是Trunk口了。 VLAN1, 2, 3 的数据包在通过 Trunk 口到达对方交换机的过程中始终带着自己的VLAN 标签。

trunk端口可以允许多个VLAN通过。

3. Linux Bridge实现VLAN原理

对于物理设备来说，路由连接交换机，交换机上设置access接口实现不同的VLAN连接，设置trunk端口实现交换机之间的连接，物理机直接与这些交换机相连，但在kvm虚拟机上，如下图所示，宿主机物理网卡之上有虚拟接口eth0.10，虚拟接口就是VLAN设备，虚拟接口连接在虚拟网桥之上，在通过虚拟网卡vent0来连接虚拟机。与物理连接方式不同的是，kvm实现VLAN必须具备虚拟网卡和网

kvm网络虚拟化管理

同样的，对于多个虚拟机，需要多个VLAN来连接物理网卡。

4. Linux Bridge实现VLAN

kvm网络虚拟化管理

1> 检查核心是否提供VLAN功能

通过dmesg命令来查看物理配置，看是否有802字段，同时查看/proc/net/vlan目录是否存在。如果没有提供VLAN功能，该目录是不存在的。

[ ~]# dmesg | grep -i 802
[    0.380228] pci 0000:00:11.0: PCI bridge to [bus 02] (subtractive decode)
[    0.380255] pci 0000:00:11.0:   bridge window [io  0x2000-0x3fff]
[    0.380281] pci 0000:00:11.0:   bridge window [mem 0xfd500000-0xfdffffff]
[    0.580240] pci 0000:00:17.6: bridge window [io  0x1000-0x0fff] to [bus 19] add_size 1000
[    1.221802] pcieport 0000:00:15.7: irq 32 for MSI/MSI-X
[    1.228025] pciehp 0000:00:18.5:pcie04: Slot #261 AttnBtn+ PwrCtrl+ MRL- AttnInd- PwrInd- HotPlug+ Surprise- Interlock- NoCompl+ LLActRep+
[    1.249802] hp_sw: device handler registered
[    2.917802] systemd[1]: Inserted module ‘ip_tables‘

若8021模块没有载入系统。则可以使用 modprobe模块组命令载入8021q模块，再利用lsmod命令查看模块是否载入到核心内。

[ ~]# modprobe 8021q
[ ~]# lsmod | grep 8021q
8021q                  33104  0
garp                   14384  1 8021q
mrp                    18542  1 8021q
[ ~]#

设置开机载入8021q模块（可选）

在/etc/sysconfig/modules下增加一个8021q.modules文件，文件内容为modprobe 8021q

vim /etc/sysconfig/modules/8021q.modules
modprobe 8021q

2> 安装VLAN管理工具vconfig

[ ~]# rz

[ ~]# ls

vconfig-1.9-16.el7.x86_64.rpm
[ ~]# yum localinstall vconfig-1.9-16.el7.x86_64.rpm -y

3> 创建VLAN接口

创建VLAN接口前，在设备上添加一块网卡，并配置为静态，在ens37这块网卡上设置VLAN。

kvm网络虚拟化管理

添加网卡

[ ~]# cd /etc/sysconfig/network-scripts/
[ network-scripts]# ls
[ network-scripts]# nmtui

kvm网络虚拟化管理

修改网卡配置文件

[ ~]# cd /etc/sysconfig/network-scripts/
[ network-scripts]# vim ifcfg-ens37
BOOTPROTO=static                                              #只改这一行即可
[ network-scripts]# systemctl restart network   #由于无法获取ip，重启有可能起不来，由于该网卡只用作VLAN，起不来也可以
[ ~]# ip a
....
9: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:cc:05:06 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::4d27:24e8:e097:435c/64 scope link
       valid_lft forever preferred_lft forever
......

添加VLAN。用命令vconfig add

[ ~]# vconfig add ens37 10
Added VLAN with VID == 10 to IF -:ens37:-
[ ~]# ip a
..
11: : <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN qlen 1000
link/ether 00:0c:29:cc:05:06 brd ff:ff:ff:ff:ff:ff
.....
[ ~]# vconfig add ens37 20
Added VLAN with VID == 20 to IF -:ens37:-

给两个VLAN端口进行配置，写入网桥brvlan

[ network-scripts]# cp ifcfg-ens37 ifcfg-ens37.10
[ network-scripts]# vim ifcfg-ens37.10
VLAN=yes
TYPE=vlan
PHYSDEV=ens37
VLAN_ID=10
NAME=ens37.10
ONBOOT=yes
ZONE=trusted
DEVICE=ens37.10
BRIDGE=brvlan-10
[ network-scripts]# cp ifcfg-ens37.10 ifcfg-ens37.20
[ network-scripts]# vim ifcfg-ens37.20
VLAN=yes
TYPE=vlan
PHYSDEV=ens37
VLAN_ID=10
NAME=ens37.10
ONBOOT=yes
ZONE=trusted
DEVICE=ens37.10
BRIDGE=brvlan-10
:%s/10/20/g

结果:
VLAN=yes
TYPE=vlan
PHYSDEV=ens37
VLAN_ID=20
NAME=ens37.20
ONBOOT=yes
ZONE=trusted
DEVICE=ens37.20
BRIDGE=brvlan-20

添加两块网桥

[ ~]# brctl addbr brvlan-10
[ ~]# brctl addbr brvlan-20

配置网桥

[ network-scripts]# vim ifcfg-brvlan-10
TYPE=bridge
BOOTPROTO=static
NAME=brvlan-10
DEVICE=brvlan-10
ONBOOT=yes
[ network-scripts]# vim ifcfg-brvlan-20
TYPE=bridge
BOOTPROTO=static
NAME=brvlan-20
DEVICE=brvlan-20
ONBOOT=yes

将网桥brvlan-10 接到网口ens37.10，brvlan-20 接到网口ens37.20，用命令brctl addif

[ network-scripts]# brctl addif brvlan-10 ens37.10
[ network-scripts]# brctl addif brvlan-20 ens37.20

重启，查看，

[ network-scripts]# systemctl stop NetworkManager
[ network-scripts]# systemctl restart network
[ network-scripts]# ip a
11: : <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master brvlan-10 state UP qlen 1000
    link/ether 00:0c:29:cc:05:06 brd ff:ff:ff:ff:ff:ff
12: : <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master brvlan-20 state UP qlen 1000
    link/ether 00:0c:29:cc:05:06 brd ff:ff:ff:ff:ff:ff
13: brvlan-10: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000
    link/ether 00:0c:29:cc:05:06 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::20c:29ff:fecc:506/64 scope link
       valid_lft forever preferred_lft forever
14: brvlan-20: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000
    link/ether 00:0c:29:cc:05:06 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::20c:29ff:fecc:506/64 scope link
       valid_lft forever preferred_lft forever

4> 克隆虚拟机

实验会用到两台虚拟机，但由于宿主机192.168.16.3仅有一台虚拟机centos7.0，因此需要克隆一份虚拟再做实验。

克隆虚拟机的两种方式：图形界面直接克隆、代码界面利用命令 virsh -clone进行克隆。

1) 图形化界面克隆

将要克隆的虚拟机关机，右键进行克隆。

kvm网络虚拟化管理

kvm网络虚拟化管理 2) 命令行界面克隆

下载virt

[ ~]# mount /dev/cdrom /mnt
mount: /dev/sr0 写保护，将以只读方式挂载
[ ~]# yum install virt* -y

克隆

[ ~]# virt-clone -o centos7.0 -n vm2 -f /var/lib/libvirt/vm2.qcow2
成功克隆 ‘vm2‘。

查看

[ ~]# virsh list --all
 Id    名称                         状态
----------------------------------------------------
 -     centos7.0                      关闭
 -     vm1                            关闭
 -     vm2                            关闭

5> 虚拟机连接网桥

VM1连brvlan-10，VM2连brvlan-20

kvm网络虚拟化管理

6> 开启两台虚拟机。此时我们的框架已经搭好了。

kvm网络虚拟化管理

7> 测试两台虚拟机是否能通信

为了能够测试，先手动给两个虚拟机设置ip

vm1:10.10.10.10 ；vm2:10.10.10.20

kvm网络虚拟化管理

此时两台虚拟机是互不相通的，因为brvlan-10和brvlan-20不在同一个网段，将其改到以同一个网段再测试

kvm网络虚拟化管理

若两台虚拟机想通外网，只需加一块网卡即可

kvm网络虚拟化管理

由于在配置文件/etc/resove.conf含有域名解析，因此能访问百度。

5. 网卡配置bond（绑定）

网卡bond（绑定），也称作网卡捆绑。就是将两个或者更多的物理网卡绑定成一个虚拟网卡。网卡是通过把多张网卡绑定为一个逻辑网卡，实现本地网卡的冗余，带宽扩容和负载均衡，在应用部署中是一种常用的技术。

多网卡绑定实际上需要提供一个额外的软件的bond驱动程序实现。通过驱动程序可以将多块网卡屏蔽。对TCP/IP协议层只存在一个Bond网卡，在Bond程序中实现网络流量的负载均衡，即将一个网络请求重定位到不同的网卡上，来提高总体网络的可用性。

2> 网卡绑定的目的

? 提高网卡的吞吐量。

? 增强网络的高可用，同时也能实现负载均衡。

3> 网卡配置bond（绑定）bond模式：

1）Mode=0(balance-rr) 表示负载分担round-robin，平衡轮询策略，具有负载平衡和容错功能；

bond的网卡MAC为当前活动的网卡的MAC地址(bond0)，需要交换机设置聚合模式，将多个网卡绑定为一条链路。

2）Mode=1(active-backup) 表示主备模式，具有容错功能，只有一块网卡是active,另外一块是备的standby，这时如果交换机配的是捆绑，将不能正常工作，因为交换机往两块网卡发包，有一半包是丢弃的。

3) Mode=2(balance-xor) 表示XOR Hash负载分担（异或平衡策略），具有负载平衡和容错功能。每个slave接口传输每个数据包和交换机的聚合强制不协商方式配合。（需要xmit_hash_policy）。

4) Mode=3(broadcast) 表示所有包从所有interface发出，广播策略，具有容错能力，这个不均衡，只有冗余机制...和交换机的聚合强制不协商方式配合。

5）Mode=4(802.3ad) 表示支持802.3ad协议（IEEE802.3ad 动态链接聚合）和交换机的聚合LACP方式配合（需要xmit_hash_policy）。

6）Mode=5(balance-tlb) 适配器传输负载均衡，并行发送，无法并行接收，解决了数据发送的瓶颈。是根据每个slave的负载情况选择slave进行发送，接收时使用当前轮到的slave。

7) Mode=6(balance-alb) 在5的tlb基础上增加了rlb。适配器负载均衡模式并行发送，并行接收数据包。

5)和6)不需要交换机端的设置，网卡能自动聚合。4需要支持802.3ad。0，2和3理论上需要静态聚合方式，但实测中0可以通过mac地址欺骗的方式在交换机不设置的情况下不太均衡地进行接收。

常用的有三种：

mode=0：平衡负载模式，有自动备援，但需要”Switch”支援及设定。

mode=1：自动备援模式，其中一条线若断线，其他线路将会自动备援。

mode=6：平衡负载模式，有自动备援，不必”Switch”支援及设定。

4> 以模式6为例演示bond

实验需要两台宿主机，每台宿主机需要五张网卡。

kvm网络虚拟化管理

1) 添加四块网卡，并克隆一台宿主机

网卡1设置为nat模式连外网，网卡2~5设置为vmnat1仅主机模式进行bond（绑定）

kvm网络虚拟化管理

克隆虚拟机

kvm网络虚拟化管理

2) 解绑实验环境

先将3. linux bridge实验的ens37网卡进行解绑

1)) 关闭虚拟机，从网桥脱离网口

[ ~]# brctl show
bridge name bridge id              STP enabled interfaces
br0         8000.0050563d215c  no          ens33
brvlan-10             8000.000c2942c3f7   no          ens37.10
brvlan-20             8000.000c2942c3f7   no          ens37.20
virbr0            8000.5254009483b2  yes         virbr0-nic
[ ~]# brctl delif brvlan-10 ens37.10
[ ~]# brctl delif brvlan-20 ens37.20
[ ~]# brctl show
bridge name bridge id              STP enabled interfaces
br0         8000.0050563d215c  no          ens33
brvlan-10             8000.000000000000  no         
brvlan-20             8000.000000000000  no

2))删除网桥

[ ~]# brctl delbr brvlan-10
bridge brvlan-10 is still up; can‘t delete it    #命令行无法进行删除，使用图形化界面进行删除
[ ~]# nmtui

kvm网络虚拟化管理

3)) 删除虚拟网口

[ ~]# vconfig rem ens37.10
Removed VLAN -:ens37.10:-
[ ~]# vconfig rem ens37.20
Removed VLAN -:ens37.20:-

3）将ens37、38、39、40都配置绑定为bond0

[ ~]# cd /etc/sysconfig/network-scripts/
[ network-scripts]# vim ifcfg-ens37
TYPE=Ethernet
BOOTPROTO=none
DEVICE=ens37
ONBOOT=yes
MASTER=bond0
SLAVE=yes
[ network-scripts]# vim ifcfg-ens38
TYPE=Ethernet
BOOTPROTO=none
DEVICE=ens38
ONBOOT=yes
MASTER=bond0
SLAVE=yes

[ network-scripts]# vim ifcfg-ens39
TYPE=Ethernet
BOOTPROTO=none
DEVICE=ens39
ONBOOT=yes
MASTER=bond0
SLAVE=yes

[ network-scripts]# vim ifcfg-ens40
TYPE=Ethernet
BOOTPROTO=none
DEVICE=ens40
ONBOOT=yes
MASTER=bond0
SLAVE=yes

4) 加载bonding模块

[ network-scripts]# modprobe bonding

5) 创建bond0网卡配置文件

[ network-scripts]# vim ifcfg-bond0
DEVICE=bond0
TYPE=Bond
NAME=bond0
BONDING_MASTER=yes                      #设置为 绑定网卡主
BOOTPROTO=static
USERCTL=no
ONBOOT=yes
BONDING_OPTS="mode=6 miimon=100"        #模式6，检测100秒网卡的状态
BRIDGE=br1

6) 配置网桥br1

[ network-scripts]# vim ifcfg-br1
TYPE=Bridge
DEVICE=br1
ONBOOT=yes
BOOTPROTO=static
NAME=br1

7) 在br1上创建虚拟网口br1.10、br1.20

[ network-scripts]# brctl addbr br1           #添加虚拟网口
[ network-scripts]# brctl addbr br2
[ network-scripts]# vconfig add br1 10        #添加VLAN
Added VLAN with VID == 10 to IF -:br1:-
[ network-scripts]# vconfig add br1 20
Added VLAN with VID == 20 to IF -:br1:-
[ network-scripts]# ip a
15: br1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether 62:27:26:04:33:2f brd ff:ff:ff:ff:ff:ff
16: br2: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether 66:1c:df:79:22:3a brd ff:ff:ff:ff:ff:ff
17: : <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether 62:27:26:04:33:2f brd ff:ff:ff:ff:ff:ff
18: : <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether 62:27:26:04:33:2f brd ff:ff:ff:ff:ff:ff

8) 创建虚拟网桥brvlan-10、brvlan-20

[ network-scripts]# brctl addbr brvlan-10
[ network-scripts]# brctl addbr brvlan-20

9) 连接虚拟网桥和VLAN接口

[ network-scripts]# brctl addif brvlan-10 br1.10
[ network-scripts]# brctl addif brvlan-20 br1.20
[ network-scripts]# brctl show
brvlan-10             8000.62272604332f   no          br1.10
brvlan-20             8000.62272604332f   no          br1.20

10) 配置虚拟网口

[ network-scripts]# vim ifcfg-br1.10
VLAN=yes
TYPE=vlan
PHYSDEV=br1
VLAN_ID=10
NAME=br1.10
ONBOOT=yes
ZONE=trusted
DEVICE=br1.10
BRIDGE=brvlan-10

[ network-scripts]# vim ifcfg-br1.20
VLAN=yes
TYPE=vlan
PHYSDEV=br1
VLAN_ID=20
NAME=br1.20
ONBOOT=yes
ZONE=trusted
DEVICE=br1.20
BRIDGE=brvlan-20

11) 配置虚拟网桥

[ network-scripts]# vim ifcfg-brvlan-10
TYPE=bridge
BOOTPROTO=static
NAME=brvlan-10
DEVICE=brvlan-10
ONBOOT=yes

[ network-scripts]# vim ifcfg-brvlan-20
TYPE=bridge
BOOTPROTO=static
NAME=brvlan-20
DEVICE=brvlan-20
ONBOOT=yes

12) 重启网络

[ network-scripts]# systemctl restart network
[ network-scripts]# ip a
.......
17: : <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master brvlan-10 state UP qlen 1000
    link/ether 62:27:26:04:33:2f brd ff:ff:ff:ff:ff:ff
18: : <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master brvlan-20 state UP qlen 1000
    link/ether 62:27:26:04:33:2f brd ff:ff:ff:ff:ff:ff

13) 打开虚拟机，连接测试

修改网卡连接

kvm网络虚拟化管理