Linux下多网卡绑定bond及模式介绍

【介绍】

网卡bond一般主要用于网络吞吐量很大,以及对于网络稳定性要求较高的场景。

主要是通过将多个物理网卡绑定到一个逻辑网卡上,实现了本地网卡的冗余,带宽扩容以及负载均衡。

Linux下一共有七种网卡bond方式,实现以上某个或某几个具体功能。

最常见的三种模式是bond0,bond1,bond6.

【bond0】

平衡轮循环策略,有自动备援,不过需要"Switch"支援及设定。

balance-rr(Round-robin policy)

方式:

传输数据包的顺序是依次传输(即:第一个包走eth0,第二个包就走eth1……,一直到所有的数据包传输完成)。

优点:

提供负载均衡和容错能力。

缺点:

同一个链接或者会话的数据包从不同的接口发出的话,中间会经过不同的链路,在客户端可能会出现数据包无法有序到达的情况,而无序到达的数据包将会被要求重新发送,网络吞吐量反而会下降。

【bond1】

主-备份策略

active-backup(Active -backup policy)

方式:

只有一个设备处于活动状态,一个宕掉之后另一个马上切换为主设备。

mac地址为外部可见,从外面看,bond的mac地址是唯一的,switch不会发生混乱。

优点:

提高了网络连接的可靠性。

缺点:

此模式只提供容错能力,资源利用性较低,只有一个接口处于active状态,在有N个网络接口bond的状态下,利用率只有1/N。

【bond2】

平衡策略

balance-xor(XOR policy)

方式:

基于特性的Hash算法传输数据包。

缺省的策略为:(源MAC地址 XOR 目标MAC地址) % slave数量。 # XRO为异或运算,值不同时结果为1,相同为0

可以通过xmit_hash_policy选项设置传输策略。

特点:

提供负载均衡和容错能力。

【bond3】

广播策略

broadcast

方式:

在每个slave接口上传输每一个数据包。

特点:

提供容错能力。

【bond4】

IEEE 802.3ad 动态链接聚合

802.3ad( IEEE 802.3ad Dynamic link aggregation)

方式:

创建一个聚合组,共享同样的速率和双工设定。

根据802.3ad规范将多个slave工作在同一个激活的聚合体下。外出流量的slave选举基于传输Hash策略,同样,此策略也可以通过xmit_hash_policy选项进行修改。

注意:

并不是所有的传输策略都是802.3ad所适应的。

条件:

1. ethtool支持获取每个slave的速率和双工设定。

2. switch支持IEEE 802.3ad Dynamic link aggregation(大多数交换机需要设定才支持)

【bond5】

适配器传输负载均衡

balance-tlb(Adaptive transmit load balancing)

方式:

在每个slave上根据当前的负载(依据速度)分配外出流量,接收时使用当前轮到的slave。

如果正在接受数据的slave出故障了,另一个slave接管失败的slave的MAC地址。

条件:

ethtool支持获取每个slave的速率。

特点:

不需要任何特别的switch(交换机)支持的通道bonding。

【bond6】

适配器适应性负载均衡

balance-alb(Adaptive load balancing)

方式:

此模式包含了bond5的balance-tlb,同时增加了针对IPV4流量的接收负载均衡。(receive load balance, rlb)

接收负载均衡是通过ARP协商实现的。

bonding驱动截获本机发送的ARP应答,并把源硬件地址改写为bond中某个slave的唯一硬件地址,从而使得不同的对端使用不同的硬件地址进行通信。

来自服务器端的接收流量也会被均衡。

当本机发送ARP请求时,bonding驱动把对端的IP信息从ARP包中复制并保存下来。

当ARP应答从对端到达时,bonding驱动把它的硬件地址提取出来,并发起一个ARP应答给bond中的某个slave。

使用ARP协商进行负载均衡的一个问题是:

每次广播 ARP请求时都会使用bond的硬件地址,因此对端学习到这个硬件地址后,接收流量将会全部流向当前的slave。

这个问题可以通过给所有的对端发送更新 (ARP应答)来解决,应答中包含他们独一无二的硬件地址,从而导致流量重新分布。

当新的slave加入到bond中时,或者某个未激活的slave重新 激活时,接收流量也要重新分布。

接收的负载被顺序地分布(round robin)在bond中最高速的slave上当某个链路被重新接上,或者一个新的slave加入到bond中,接收流量在所有当前激活的slave中全部重新分配,通过使用指定的MAC地址给每个 client发起ARP应答。

下面介绍的updelay参数必须被设置为某个大于等于switch(交换机)转发延时的值,从而保证发往对端的ARP应答不会被switch(交换机)阻截。

条件:

1. ethtool支持获取每个slave的速率

2. 底层驱动支持设置某个设备的硬件地址

特点:

总是有一个slave(curr_active_slave)使用bond的硬件地址,同时每个bond里面的slave都有一个唯一的硬件地址。

如果curr_active_slave出了故障,则它的硬件地址会被重新选举产生的slave接管。

与bond0最大的区别在于,bond0的多张网卡里面的流量几乎是相同的,但是bond6里面的流量是先占满eth0,再占满eth1……依次

【网卡绑定】

我们假定前条件:

2个物理网口eth0,eth1

绑定后的虚拟口为bond0

服务器IP为10.10.10.1

配置文件:

1. vi /etc/sysconfig/network-scripts/ifcfg-bond0

DEVICE=bond0

BOOTPROTO=none

ONBOOT=yes

IPADDR=10.10.10.1

NETMASK=255.255.255.0

NETWORK=192.168.0.0

2. vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=none

MASTER=bond0

SLAVE=yes

3. vi /etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE=eth1

BOOTPROTO=none

MASTER=bond0

SLAVE=yes

修改modprobe相关设定文件,并加载bonding模块:

1. vi /etc/modprobe.d/bonding.conf

alias bond0 bonding

options bonding mode=0 miimon=200

2. 加载模块

modprobe bonding

3. 确认是否加载成功

[root@slb ~]# lsmod | grep bonding

bonding 100065 0

4. 重启网络

[root@slb ~]# /etc/init.d/network restart

[root@slb ~]# cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v3.5.0 (November 4, 2008)

Bonding Mode: fault-tolerance (active-backup)

Primary Slave: None

Currently Active Slave: eth0

……

[root@slb ~]# ifconfig |grep HWaddr

bond0 Link encap:Ethernet HWaddr 00:16:36:1B:BB:74

eth0 Link encap:Ethernet HWaddr 00:16:36:1B:BB:74

eth1 Link encap:Ethernet HWaddr 00:16:36:1B:BB:74

以上信息可以确认:

a. 现在的bonding模式是active-backup

b. 现在Active的网口是eth0

c. bond0, eth1的物理地址和处于active状态下的eth0的物理地址相同,这样是为了避免上位交换机发生混乱。

可以随意拔掉一根网线或者在交换机上shutdown一个网口,查看网络是否依旧联通。

5. 系统启动自动绑定并增加默认网关(可选)

[root@slb ~]# vi /etc/rc.d/rc.local

ifenslave bond0 eth0 eth1

route add default gw 10.10.10.1

【多网卡绑定】

上面只是两个网卡绑定一个bond0的情况,如果我们要设置多个bond口,就不能这样做了。

·/etc/modprobe.d/bonding.conf·的修改可以如下:

1. 多个bond的模式一样的情况

alias bond0 bonding

alias bond1 bonding

options bonding max_bonds=2 miimon=200 mode=1

2. 多个bond的模式不一样的情况

alias bond0 bonding

options bond0 miimon=100 mode=1

install bond1 /sbin/modprobe bonding -o bond1 miimon=200 mode=0

install bond2 /sbin/modprobe bonding -o bond2 miimon=100 mode=1