简介这份文档面向数据中心网络工程师、云计算架构学习者与运维人员系统讲解叶脊Spine-Leaf网络拓扑下的全三层网络设计与实践。内容从传统三层架构的带宽浪费、STP收敛慢、难以支撑大二层与虚拟机迁移等弊端切入引出扁平化叶脊架构的全网状连接模型并展开高带宽利用率、延迟可预测、带宽与服务器数量水平扩展、单交换机性能要求低、高可用性强等核心优势还结合端口数量与带宽给出规模估算方法及Facebook Fabric多POD扩展思路。资源为1个docx文档压缩包约671KB结构清晰便于按章节查阅。目前已有225人学习适合希望理解现代数据中心网络演进、掌握叶脊架构设计逻辑的读者参考。1. 叶脊网络拓扑下全三层网络设计从架构选型到落地配置的实战拆解数据中心网络改造项目里最常被问到的一个问题就是传统三层架构还撑得住吗当业务侧开始跑分布式存储、AI 训练集群、跨校区智慧教室专网这类东西南北向流量不再是主角东西向流量占比动辄七成以上核心层交换机背板被打满、收敛比失控、故障域大得吓人。叶脊Spine-Leaf网络拓扑就是在这个背景下成为主流的。它把网络压成两层Leaf 接入服务器Spine 只做高速转发任意两台 Leaf 之间固定三跳带宽可预测、扩容可水平堆叠。全三层网络设计则是在这套物理拓扑上把二层彻底赶到边缘Leaf 以下用 VLAN 接服务器Leaf 到 Spine 全部跑路由。这套方案适合谁正在做数据中心新建或改造的网络工程师、需要支撑虚拟化与容器平台的运维团队以及想把跨校区专网做扁平的架构设计者。下面按选型理由、地址规划、路由配置、避坑、验证的顺序把可复现的路径讲清楚。2. 为什么全三层比二层加 STP 更适合叶脊收敛比与故障域的账2.1 叶脊拓扑的物理规则与收敛比计算叶脊架构的物理连接规则很硬每台 Leaf 必须上行到所有 Spine每台 Spine 必须下行到所有 LeafLeaf 之间不直连Spine 之间也不直连。这个 full-mesh 结构决定了任意两台 Leaf 之间的路径数是 Spine 的数量。假设有 N 台 Spine、M 台 Leaf每台 Leaf 上行带宽为 U下行接入带宽为 D那么收敛比就是 D 除以N 乘以 U。举个例子48 口 25G 下行、8 口 100G 上行的 Leaf接 4 台 Spine收敛比是 48×25 除以 4×100等于 3:1。这个数字直接决定突发流量会不会在 Spine 上排队。提示收敛比不是越小越好。1:1 意味着 Leaf 上行带宽等于下行总带宽成本极高。生产环境常见 3:1 到 5:1存储和 AI 集群建议 2:1 以内。传统三层架构里接入到汇聚再到核心收敛比往往在 20:1 以上而且 STP 会阻塞冗余链路实际可用带宽只有一半。叶脊全三层用 ECMP 把流量哈希到所有 Spine没有链路被阻塞这是它最直接的收益。2.2 全三层设计要解决的核心问题ARP 表和 MAC 表规模二层网络最大的隐患是广播域。一个 VLAN 里如果有 500 台虚拟机ARP 请求会泛洪到所有端口MAC 表项随虚拟机迁移不断刷新。全三层设计把每个 Leaf 当作一个路由节点Leaf 以下可以继续用 VLAN但 Leaf 到 Spine 之间只跑 BGP 或 OSPF广播域被限制在单台 Leaf 内部。这样做的代价是虚拟机跨 Leaf 迁移时IP 地址必须变化或者需要引入 VXLAN 做二层延伸。跨校区智慧教室专网这类场景常见做法是在 Leaf 上做 VXLAN 隧道把二层语义封装进三层网络但底层转发仍然依赖叶脊的全三层路由。选型上如果业务以传统物理服务器为主纯三层到接入就够了如果虚拟化比例高、需要大二层就在 Leaf 上叠加 VXLAN。两种路径的物理拓扑完全一样区别只在 Leaf 的软件配置。3. 地址规划与 Underlay 路由把 BGP 配到每台 Leaf 上3.1 环回口与点对点地址的分配规则全三层网络的第一步是地址规划。每台 Leaf 和 Spine 都需要一个环回口地址通常从 10.0.0.0/24 里取Leaf 用 10.0.0.1 到 10.0.0.100Spine 用 10.0.0.101 到 10.0.0.200。Leaf 到 Spine 的每条链路用 10.1.x.x/30 的点对点地址x 按 Leaf 编号递增。这样做的目的是让 BGP 邻居关系建立在直连地址上环回口作为 router-id 和后续 VXLAN 的源地址。设备角色环回口地址链路地址段AS 号Leaf-0110.0.0.1/3210.1.1.0/3065001Leaf-0210.0.0.2/3210.1.2.0/3065002Spine-0110.0.0.101/3210.1.1.1/3065100Spine-0210.0.0.102/3210.1.1.5/3065100AS 号规划有两种常见做法所有 Leaf 用同一个 AS所有 Spine 用同一个 AS这叫 iBGP 方案或者每台 Leaf 用不同 ASSpine 用统一 AS这叫 eBGP 方案。eBGP 的好处是路由策略更清晰坏处是配置量稍大。我一般推荐 eBGP因为排错时一眼就能看出路由从哪来。3.2 FRR 配置 BGP 邻居与 ECMP 的完整命令下面以 FRR 为例给出一台 Leaf 的 BGP 配置。假设 Leaf-01 有两个上行口分别连 Spine-01 和 Spine-02。# 进入配置模式 configure terminal # 配置环回口 interface lo ip address 10.0.0.1/32 exit # 配置上行口地址 interface eth1 ip address 10.1.1.2/30 exit interface eth2 ip address 10.1.1.6/30 exit # 配置 BGP router bgp 65001 bgp router-id 10.0.0.1 no bgp ebgp-requires-policy # 与 Spine-01 建立邻居 neighbor 10.1.1.1 remote-as 65100 neighbor 10.1.1.1 update-source eth1 # 与 Spine-02 建立邻居 neighbor 10.1.1.5 remote-as 65100 neighbor 10.1.1.5 update-source eth2 # 宣告环回口和业务网段 address-family ipv4 unicast network 10.0.0.1/32 network 10.10.1.0/24 maximum-paths 4 exit-address-family exit逻辑说明bgp router-id用环回口地址保证唯一性。no bgp ebgp-requires-policy在 FRR 里关闭默认策略检查否则邻居起不来。maximum-paths 4开启 ECMP允许最多 4 条等价路径同时转发。network语句宣告本 Leaf 的业务网段Spine 会把这些路由反射给其他 Leaf。参数说明remote-as必须和 Spine 的 AS 号一致。update-source指定用哪个接口的地址建立邻居点对点链路里通常写物理口如果写环回口则需要底层路由可达。maximum-paths的值不要超过实际路径数否则浪费内存。Spine 侧的配置更简单只需要和每台 Leaf 建邻居并且不宣告任何业务网段只做路由转发。router bgp 65100 bgp router-id 10.0.0.101 no bgp ebgp-requires-policy neighbor 10.1.1.2 remote-as 65001 neighbor 10.1.1.6 remote-as 65002 address-family ipv4 unicast network 10.0.0.101/32 maximum-paths 8 exit-address-family exitSpine 的maximum-paths可以设大一些因为它要承载所有 Leaf 的流量。network只宣告自己的环回口不需要宣告业务网段。3.3 验证 BGP 邻居与路由表是否正常配置完成后用以下命令检查状态。# 查看 BGP 邻居摘要 show bgp summary # 查看从某个邻居学到的路由 show bgp ipv4 unicast neighbors 10.1.1.1 routes # 查看路由表里是否有 ECMP show ip route 10.10.2.0/24正常输出里邻居状态应该是 Establishedshow ip route应该看到两条下一跳分别指向两个 Spine 的链路地址。如果只有一条检查maximum-paths是否生效或者两条链路的开销是否一致。FRR 默认按链路带宽计算开销点对点链路通常一致。4. 避坑与排查全三层叶脊网络里最容易翻车的五个点4.1 BGP 邻居起不来卡在 Active 或 Connect现象show bgp summary里邻居状态一直是 Active永远不到 Established。原因最常见的是update-source写错或者对端 AS 号配错。还有一种情况是 FRR 默认要求策略没有no bgp ebgp-requires-policy时邻居会卡住。解决先 ping 直连地址确认三层可达。然后检查两端remote-as是否互为对方的 AS。最后确认update-source指定的接口地址和邻居地址在同一网段。4.2 ECMP 不生效流量只走一条 Spine现象路由表里只有一条下一跳或者show ip route显示的是单路径。原因maximum-paths没配或者两条链路的 BGP 属性不一致比如 AS_PATH 长度不同、MED 值不同。解决在 address-family 下加maximum-paths 4。如果属性不一致用show bgp ipv4 unicast 前缀查看详细属性必要时用 route-map 调整 MED 或 local-preference。4.3 虚拟机跨 Leaf 迁移后网络不通现象虚拟机从 Leaf-01 迁到 Leaf-02IP 不变但 ping 不通网关。原因全三层设计里每个 Leaf 的业务网段不同虚拟机 IP 属于 Leaf-01 的网段迁到 Leaf-02 后 Leaf-02 没有这个网段的路由或者有路由但回程路径不对。解决如果必须保持 IP 不变需要在 Leaf 上配置 VXLAN把二层语义延伸过去。如果不需要就改虚拟机 IP 到目标 Leaf 的网段。常见做法是用 DHCP 重新分配地址或者用自动化工具改配置。4.4 收敛比算错Spine 上行口被打满现象业务高峰期 Spine 上行口利用率超过 80%丢包增加。原因Leaf 下行接入带宽总和远大于上行带宽乘以 Spine 数量。比如 48 口 25G 下行、4 个 100G 上行收敛比 3:1如果服务器全部满速发包Spine 必然拥塞。解决重新计算收敛比增加 Spine 数量或提升上行口速率。如果成本受限至少给存储和 AI 流量做 QoS 标记保证关键业务优先。4.5 环回口地址冲突导致 BGP 震荡现象BGP 邻居反复 Up/Down日志里出现 router-id 冲突告警。原因两台设备配了相同的环回口地址或者 router-id 手动配重了。解决用show bgp summary看 router-id 列逐台核对。环回口地址必须全网唯一建议用 IPAM 工具分配不要手工拍脑袋。5. 从 Underlay 到 Overlay用 VXLAN 打通跨校区智慧教室专网5.1 VXLAN 在叶脊上的部署位置与 VTEP 选择跨校区智慧教室专网的需求是不同校区的教室在同一个二层网络里能互相发现、组播教学但底层物理网络是三层叶脊。VXLAN 是标准解法。VTEP 放在 Leaf 上每台 Leaf 的环回口作为 VTEP 地址VXLAN 隧道建立在 Leaf 之间Spine 只做 IP 转发不感知 VXLAN。配置 VXLAN 的前提是 Underlay 路由已经稳定Leaf 之间能通过环回口互相 ping 通。然后创建 VXLAN 接口指定 VNI 和远端 VTEP 列表。# 在 Leaf-01 上创建 VXLAN 接口 interface vxlan1 vxlan source-interface lo vxlan vlan 100 vni 10100 vxlan vlan 100 flood vtep 10.0.0.2 10.0.0.3 exit # 把 VXLAN 接口和业务 VLAN 关联 interface eth10 switchport mode access switchport access vlan 100 exit # 配置 VLAN 到 VXLAN 的映射 vlan 100 vxlan vni 10100 exit逻辑说明source-interface lo指定用环回口地址作为 VTEP 源。flood vtep列出所有远端 Leaf 的环回口地址用于广播、未知单播和组播流量的复制。vlan 100是本地业务 VLANvni 10100是 VXLAN 网络标识两端必须一致。参数说明VNI 范围是 1 到 16777215建议按业务类型分段比如 10100 到 10199 给教学专网。flood vtep列表需要手动维护新增 Leaf 时要同步更新所有 Leaf 的配置。如果规模大可以用 EVPN 替代 flood-and-learn但配置复杂度更高。5.2 验证 VXLAN 隧道与跨 Leaf 二层连通性配置完成后先检查 VXLAN 接口状态。# 查看 VXLAN 接口 show interface vxlan1 # 查看 VXLAN 转发表 show vxlan fdb # 从 Leaf-01 的虚拟机 ping Leaf-02 的虚拟机 ping 10.10.2.100正常情况show vxlan fdb应该看到远端 VTEP 的 MAC 地址和对应的 VNI。如果 ping 不通先确认 Underlay 路由里有没有远端环回口的 /32 路由再检查两端 VNI 和 VLAN 映射是否一致。注意VXLAN 会增加约 50 字节的封装开销MTU 需要相应调整。物理口和 Underlay 路由的 MTU 建议设成 9000 以上至少 1600否则大包会被分片或丢弃。5.3 全三层叶脊网络的扩容节奏扩容时先加 Spine 还是先加 Leaf我的经验是如果收敛比已经接近阈值先加 Spine因为 Spine 扩容能直接增加 Leaf 之间的路径数和总带宽。如果接入端口不够先加 Leaf但新 Leaf 必须上行到所有现有 Spine并更新所有 Leaf 的 BGP 邻居和 VXLAN flood 列表。加 Spine 的步骤上架、配环回口和链路地址、配 BGP 邻居、在每台 Leaf 上增加对新 Spine 的邻居配置、确认 ECMP 路径数增加。加 Leaf 的步骤上架、配环回口和链路地址、配 BGP 邻居、在每台 Spine 上增加对新 Leaf 的邻居配置、更新所有 Leaf 的 VXLAN flood 列表。这套流程看起来机械但每一步都有翻车的可能。我自己的习惯是每次变更前先备份配置变更后立刻跑一遍show bgp summary和show ip route确认邻居和路由数量符合预期。曾经有一次加完 Spine 忘了在 Leaf 上加邻居结果新 Spine 空转了一周才发现。希望帮到你。本文还有配套的精品资源点击获取