去堆叠技术-最新的数据中心架构
LEAF1:
下联服务器口配置:
interface Eth-Trunk1
port default vlan 10
mode lacp-dynamic#动态LACP模式 见注释2
lacp system-id 0000-0000-0001 #设置SYSTEMID 见注释4
trust dscp
#
LEAF2:
下联服务器口配置:
interface Eth-Trunk1
port default vlan 10
mode lacp-dynamic #动态LACP模式 见注释2
lacp system-id 0000-0000-0001 #设置SYSTEMID 见注释4
lacp port-id-extension enable # 设置LACP模式Eth-Trunk的各个成员口在LACP协议中的编号增加32768 见注释1
trust dscp
#
LEAF1:
interface Vlanif16
ip address 10.152.16.1 255.255.255.0
arp proxy anyway enable //使能ARP任意代答功能,服务器之间的ARP请求报文,在Leaf层上被捕获后,会使用自己的三层网关接口的接口MAC/IP进行ARP应答,这样服务器的上行流量到达Leaf层后,都会进行三层转发
mac-address 0000-5e00-0101 // 对应的VLANIF接口具有相同的IP地址和虚拟mac地址
arp delete trigger link-down enable //使能链路Down时ARP表项快速删除功能,当成员端口Down时,该端口下的ARP表项就会立即删除,不再等待ARP探测
arp direct-route enable //使能接口发布ARP Vlink直连路由功能,然后通过路由协议引入直连路由,可以将ARP转换的主机路由发布给路由邻居,避免在链路故障时形成路由黑洞
arp direct-route preference 1 //配置ARP Vlink直连路由的优先级为1
#
LEAF2:
interface Vlanif16
ip address 10.152.16.1 255.255.255.0
arp proxy anyway enable //使能ARP任意代答功能,服务器之间的ARP请求报文,在Leaf层上被捕获后,会使用自己的三层网关接口的接口MAC/IP进行ARP应答,这样服务器的上行流量到达Leaf层后,都会进行三层转发
mac-address 0000-5e00-0101 // 对应的VLANIF接口具有相同的IP地址和虚拟mac地址
arp delete trigger link-down enable //使能链路Down时ARP表项快速删除功能,当成员端口Down时,该端口下的ARP表项就会立即删除,不再等待ARP探测
arp direct-route enable //使能接口发布ARP Vlink直连路由功能,然后通过路由协议引入直连路由,可以将ARP转换的主机路由发布给路由邻居,避免在链路故障时形成路由黑洞
arp direct-route preference 1 //配置ARP Vlink直连路由的优先级为1
#
注释1
当DeviceA通过LACP模式的Eth-Trunk接口双归接入DeviceB和DeviceC时,DeviceB和DeviceC两台设备上的Eth-Trunk成员口在LACP协议中的编号默认均由系统自动分配,可能会出现这两台设备上的Eth-Trunk成员口在LACP协议中编号相同的情况,如果编号相同,就可能会导致LACP协商不成功,或者即使协商成功也无法定位出转发流量的端口。为了避免出现上述情况,可以通过在DeviceB和DeviceC其中一台设备上配置此功能将其Eth-Trunk成员口的编号均增加32768,从而保证DeviceB和DeviceC设备上连接到DeviceA的一组Eth-Trunk成员口在LACP协议中的编号不相同
注释2
静态LACP模式和动态LACP模式在LACP协议交互方面没有区别,区别在于两种模式在LACP协商失败后的处理不一致
静态LACP模式下,LACP协商失败后Eth-Trunk变为Down,不能转发数据。
动态LACP模式,LACP协商失败后Eth-Trunk变为Down,但其成员口继承Eth-Trunk的VLAN属性状态变为Indep,可独立进行二层数据转发(仅仅推荐与服务器连接时使用该方式,交换机互联有环路风险)
注释3
将两边设备的SYSTEMID设置为一致。否则lacp协议起不来
lacp system-id配置LACP系统ID,通过LACP系统ID决策两端设备优先级的高低,从而实现两端设备的活动接口的选择达成一致
lacp system-id命令用来配置Eth-Trunk接口的LACP(Link Aggregation Control Protocol)系统ID,缺省情况下,Eth-Trunk接口的LACP系统ID为系统桥MAC
服务器侧配置
Mode4(802.3ad/Lacp模式)的网卡绑定在发送数据报文包括ARP报文时,只会Hash到一条链路。这是Linux内核Bonding模块的默认实现。而去堆叠组网方案中需要让上行的一对TOR交换机都能学习到ARP,因此需要修改内核的Boding模块实现ARP广播。