一台服务器想扩 16 张 RTX5060？这块 144 Lane PCIe 5.0 Switch 板，刚好把 Lane 用到一根不剩

今天早上一个潜在用户问了一个很典型、也很“工程现场”的问题我们想通过一台 server扩展 16 张 NVIDIA RTX5060 GPU 卡每张卡是 PCIe Gen5 x8有没有比较现实、可落地的方案这个问题乍一听有点夸张。因为普通服务器主板上就算有几个 PCIe x16 插槽也很难直接插 16 张 GPU。更不用说 16 张卡的物理空间、供电、散热、线缆、链路训练、BIOS 枚举、驱动识别每一个环节都可能让工程师卡半天。但如果从 PCIe lane 资源的角度重新看这个问题它反而变得很清楚RTX5060 这类卡电气链路是 PCIe Gen5 x8。也就是说一张卡真正需要的是 8 条 PCIe lane而不是完整 x16。16 张 RTX506016 × x8 128 lanes如果再给上行连接主机预留一个 Gen5 x16128 lanes 16 lanes 144 lanes这个数字非常巧刚好等于 Broadcom PEX89144 PCIe 5.0 Switch 芯片的 144 lane 总资源。也就是说这不是“硬凑出来”的方案而是 lane 资源刚好对得上的方案。一、先把问题说简单为什么普通主板做不了很多初级工程师刚接触 PCIe 扩展时容易把 PCIe switch、PCIe bifurcation、riser cable、转接卡混在一起。我们先用最直白的话讲清楚。普通服务器主板上的 PCIe slot本质上是 CPU 或 chipset 给出来的 PCIe 资源。比如一个 PCIe Gen5 x16 slot就只有 16 条 lane。主板最多可以通过 bifurcation 把它拆成x8 x8 或者 x4 x4 x4 x4但它不能凭空变成 16 个 x8。一个 x16 插槽直接拆最多只能拆出 2 个 x8。你想挂 16 张 x8 GPU需要的是 128 条下行 lane。这个时候就不能靠简单转接线或者被动 riser 解决了而是需要一个真正的 PCIe switch。PCIe switch 可以理解成 PCIe 世界里的“高速交换机”。它一端连接主机另一端连接很多 endpoint比如 GPU、SSD、NIC、DPU、FPGA 加速卡。主机看到的是 switch 后面挂了一串设备switch 负责在这些设备和主机之间转发 PCIe TLP 数据包并完成端口管理、链路训练、错误处理和拓扑组织。所以这个方案的关键不是“把一根线拆成十六根线”而是通过 PEX89144 这颗 144 lane PCIe Gen5 switch把一台主机的 PCIe 拓扑扩展成一个高密度、多端口的外部 GPU 测试平台。二、这块 144 Lane Switch 板的资源为什么刚好合适我们之前介绍过这块基于 Broadcom PEX89144 的 PCIe 5.0 switch 扩展板。它的核心配置可以简单理解为核心芯片Broadcom PEX89144 总 lane 数144 lanes 板上接口18 个 MCIO x8 接口速率PCIe Gen5 每两个 MCIO x8 可以组合成一组 x16 18 个 MCIO x8 等价于 9 组 x16这张板有一个很重要的特点它没有把 PEX89144 的 lane 资源浪费掉而是通过 18 个 MCIO x8 接口把 144 lanes 尽可能完整地释放出来。这对于测试实验室来说非常有价值。因为在真实的研发验证场景里我们经常不是只想插一张卡而是想模拟复杂系统多 GPU 多 SSD GPU SSD 混插 GPU NIC 混插 多 endpoint 同时枚举 某个端口异常时观察其它端口是否受影响 某条链路降速时定位是主机、switch、线缆还是 endpoint 的问题这类问题在普通 PC 主板上很难做。在高端服务器里做又经常被机箱结构、主板 BIOS、线缆长度、散热空间限制住。而这块 144 lane switch 板的价值就是把原本藏在服务器内部的 PCIe fabric拉到桌面上变成一个可以搭、可以拆、可以改、可以测的工程平台。三、这次客户需求的拓扑2 个 MCIO x8 做上行16 个 MCIO x8 做下行针对这位客户提出的 16 张 RTX5060 GPU 扩展需求我们建议采用下面的连接方式Server PCIe Gen5 x16 slot ↓ Uplink Adapter ↓ 2 条 MCIO x8 cable ↓ PEX89144 144 Lane PCIe Gen5 Switch Board ↓ 16 个 MCIO x8 downlink ↓ 16 张 Downlink Adapter转成 PCIe x16 机械插槽 ↓ 16 张 NVIDIA RTX5060 GPU从 lane 分配上看用途接口数量Lane 数量说明上行连接 server2 × MCIO x816 lanes组成一个 Gen5 x16 uplink下行连接 GPU16 × MCIO x8128 lanes每张 RTX5060 占用 Gen5 x8总计18 × MCIO x8144 lanesPEX89144 lane 资源全部用满这就是这个方案最漂亮的地方18 个 MCIO x8一个不多一个不少。2 个做 uplink16 个做 downlink。 上行 x16下行 16 个 x8。 144 lanes 刚好全部用完。从工程角度看这种拓扑非常干净也非常适合向客户解释。四、不要把它理解成“16 张卡都各自拥有直通 CPU 的 x8 带宽”这里需要特别提醒一句也是很多客户第一次看这种方案时最容易误解的地方。这套方案可以扩展 16 张 Gen5 x8 GPU但它并不等于服务器 CPU 同时拥有 16 组独立 Gen5 x8 直连链路。原因很简单下行总资源是 16 × x8 128 lanes 但是上行回到主机的是 x16也就是 16 lanes如果 16 张 GPU 同时向 CPU 大规模搬运数据那么最终都会经过这条 x16 uplink。这个时候上行链路就会成为汇聚点。所以我们要把应用场景分清楚。这套方案非常适合多 GPU 枚举测试 多 GPU 驱动加载测试 多卡稳定性测试 GPU 批量烧机 CUDA / AI 推理环境搭建验证 多 endpoint PCIe 链路训练测试 Switch 端口压力测试 GPU 卡兼容性筛选 外置 PCIe 拓扑调试 GPU 与其它 PCIe 设备混插验证但如果客户的目标是让 16 张 GPU 同时满速和 CPU 内存之间做持续 DMA并且每张卡都要求接近 Gen5 x8 的主机带宽那就要明确告诉客户这不是 16 路 CPU 直连 x8它是一个通过 x16 uplink 汇聚的 switch 扩展拓扑。这不是缺点而是 PCIe switch 拓扑设计中必须讲清楚的边界。工程沟通里最怕的不是方案做不到而是客户把方案理解错。五、为什么 RTX5060 这种 Gen5 x8 卡反而很适合这个平台如果客户要扩的是 16 张 RTX5090、RTX6000 Pro 这类更高功耗、更高端的 GPU事情会复杂很多。不是不能做而是供电、散热、机械固定、驱动策略、实际 workload 都会变得更重。但 RTX5060 这种 PCIe Gen5 x8 形态反而很适合拿来做多卡扩展和测试。原因有几个。第一它每张卡只需要 x8 电气链路。 这使得 144 lane switch 可以挂到 16 张卡而不是只能挂 8 张 x16 卡。第二Gen5 x8 的单卡理论链路能力已经很高。 对于很多 AI 推理、轻量训练、视频处理、CUDA 测试、批量应用验证来说GPU 不是每一秒都在疯狂和 CPU 搬运数据。很多时候数据加载完成以后主要计算发生在 GPU 本地显存里。第三多卡数量本身有测试价值。 很多问题不是单卡能暴露出来的。比如第 1 张卡能识别第 16 张卡还能不能识别 单卡跑没问题16 张一起加载驱动有没有问题 热启动后设备顺序是否变化 Linux 下 lspci 拓扑是否稳定 nvidia-smi 是否能稳定看到所有 GPU 某一张卡 link retrain会不会影响 switch 其它端口 某一张卡掉线系统是冻结、报错还是只隔离该端口 多张卡同时跑压力时AER 计数是否增加 端口是否出现降速、降宽、链路不稳定这些问题都不是“买一台普通 PC 插一张显卡”能验证出来的。六、这套连接方式的实际落地细节从外观上看这套系统可能是这样的主机服务器里插一张 uplink adapter。 这张 uplink adapter 通过 PCIe x16 金手指插入 server 的 PCIe Gen5 x16 slot。 然后从 uplink adapter 引出 2 根 MCIO x8 cable连接到 PEX89144 switch 板的 2 个 MCIO x8 接口形成一个 Gen5 x16 uplink。Switch 板剩下 16 个 MCIO x8 接口分别连接 16 张 downlink adapter。 每张 downlink adapter 把 MCIO x8 转成 PCIe x16 机械插槽。 RTX5060 GPU 插在这些 PCIe 插槽里虽然物理是 x16 插槽但实际跑的是 Gen5 x8 链路。这里有几个工程细节一定要提前确认。第一GPU 供电不能靠 MCIO 线缆想当然解决。 GPU 插槽的 12V 供电、辅助电源、转接板供电都要单独设计清楚。尤其是 16 张卡同时上电瞬态电流和电源时序不能随便糊弄。第二散热必须提前规划。 16 张 GPU 就算不是顶级高功耗卡也不是随便摊在桌子上就能长期稳定跑。开放式测试架、风道、风扇、温度监控都要纳入方案。第三线缆长度和信号完整性要谨慎。 PCIe Gen5 是 32GT/s不是低速 GPIO。MCIO 线缆、adapter、连接器、走线、retimer 是否需要介入都要看实际链路裕量。能枚举不代表长期压力下稳定能跑 Gen5 不代表每次热启动都稳定。第四server BIOS 必须配合。 建议重点检查Above 4G Decoding Resizable BAR PCIe speed 固定 Gen5 或 Auto 策略 MMIO 资源分配 IOMMU/VT-d 设置 SR-IOV 或相关虚拟化选项 热插拔相关选项 系统启动时的 PCIe 枚举顺序很多多 GPU 问题最后不是硬件坏了而是 BIOS 没给足资源或者系统在大规模 PCIe BAR 分配时出问题。第五驱动和操作系统要提前验证。 硬件层面能枚举只是第一步。后面还要确认Linux 下 lspci 是否看到全部 GPU 每张卡的 LnkSta 是否是 Speed 32GT/s、Width x8 nvidia-smi 是否稳定识别全部 GPU CUDA sample 是否能遍历全部 device 多卡压力测试是否会触发 Xid error 重启、冷启动、热启动后设备顺序是否稳定 长时间运行后是否有 AER、DPC、Surprise Down 记录这些都是实际客户项目里非常关键的验收项。七、这块板不是“插槽扩展器”而是一个 PCIe 拓扑实验平台如果只把它理解成“多插槽扩展板”就低估了它的价值。真正有意思的地方在于PEX89144 这类 PCIe switch 可以构建复杂的 PCIe 拓扑。对于测试工程师来说它不是简单地把一个插槽变成很多插槽而是把整个 PCIe fabric 变成了一个可观察、可控制、可调试的实验环境。比如在这次 16 张 RTX5060 的方案里我们至少可以做这些测试1. 多 GPU 枚举与资源分配测试16 张 GPU 同时挂在一个 switch 后面系统能不能稳定识别 BIOS 能不能分配足够 MMIO 操作系统启动过程中有没有卡住 GPU 的 bus number、device number 是否稳定 不同 server 平台之间表现是否一致这类测试对客户非常有实际价值。因为很多真实项目的问题根本不是单张卡性能不够而是系统级资源分配、枚举、驱动初始化阶段就出问题。2. PCIe Gen5 x8 链路训练测试每张 GPU 都要经过GPU downlink adapter MCIO cable PEX89144 switch port uplink adapter server root complex链路训练涉及 Tx/Rx equalization、preset、信号完整性、时钟、retimer 或 connector 质量等多个因素。如果 16 张卡里有一张只能跑 Gen4或者只能跑 x4或者偶发降速这时候 switch 平台就能帮助工程师快速定位是某张 GPU 的问题 是某根 MCIO 线缆的问题 是某张 downlink adapter 的问题 是 switch 某个端口的问题 是 server BIOS 或 root port 的问题 还是信号裕量本来就不够这就是测试平台的意义。它不是为了让你“感觉能插上”而是为了让你知道问题到底出在哪里。3. 多卡压力与稳定性测试16 张 GPU 同时运行压力程序和一张 GPU 单独运行是完全不同的系统状态。多卡同时运行时会出现更高的瞬态功耗 更高的系统温度 更复杂的 PCIe traffic 更多的中断和 DMA 访问 更复杂的驱动调度 更高概率暴露边缘链路问题这类问题经常不是一分钟出现而是几个小时甚至几十个小时后才出现。比如某张卡突然掉线 nvidia-smi 卡住 系统 dmesg 出现 AER 某个 PCIe port Surprise Down GPU driver 出现 Xid error 重启后少识别一张卡 某条链路从 Gen5 退到 Gen4 某个 adapter 摸起来明显过热这些都属于典型的系统级验证问题。如果没有这样一套可重复搭建的 PCIe switch 测试平台很多问题只能靠猜。4. GPU 与其它 PCIe 设备混插测试今天客户问的是 16 张 RTX5060但这块 144 lane switch 板并不只能挂 GPU。它也可以挂Gen5 SSD NVMe JBOF 高性能 NIC DPU FPGA 协议分析仪 故障注入卡 Retimer/Redriver 测试板 客户自己的 endpoint EVB这就很适合做混插场景。比如8 张 GPU 8 块 Gen5 SSD 12 张 GPU 4 张 100G/200G NIC GPU SSD 做数据流测试 GPU DPU 做加速与网络转发测试 GPU 自研 PCIe endpoint 做兼容性验证很多 AI 服务器、存储服务器、加速卡系统并不是单一设备工作而是 GPU、NIC、SSD、DPU 在一个复杂拓扑里共同工作。实验室如果想提前模拟这种环境一块高密度 switch board 就很有价值。八、这个方案最适合什么客户这套 16 张 RTX5060 扩展方案不一定适合所有人。如果客户只是玩游戏、做普通图形渲染、想让 16 张消费级显卡像一台高端 AI 训练服务器那样工作那这个方案可能不是最优解。但如果客户是下面几类团队就非常值得认真评估GPU 板卡测试团队 AI 推理平台研发团队 服务器系统集成团队 PCIe endpoint 芯片验证团队 GPU 兼容性测试实验室 多卡驱动与软件栈验证团队 高校或研究机构的异构计算实验室 需要低成本构建多 GPU 原型平台的工程团队 做 PCIe Gen5 链路、拓扑、压力、故障定位的团队尤其是那些“不一定要追求每张 GPU 都有满血 CPU 直连带宽但非常需要多卡数量、多端口拓扑、多设备稳定性验证”的客户这套方案就非常有价值。一句话总结它不是为了替代顶级 GPU 训练服务器而是为了在实验室里快速搭出一个多 GPU PCIe Gen5 验证环境。九、真正的价值把复杂 PCIe 系统提前搬到桌面上很多客户的问题表面上看是“我想多接几张卡”。但深层需求其实是我想知道我的 server 能不能识别这么多设备。 我想知道我的 GPU 在 Gen5 x8 下是否稳定。 我想知道我的线缆和 adapter 有没有问题。 我想知道 switch 后面挂满设备以后系统会不会乱。 我想知道某个端口异常会不会把整台机器拖死。 我想知道多卡系统的真实边界在哪里。这些问题靠纸面规格回答不了靠普通主板也很难验证。PEX89144 144 lane PCIe 5.0 switch 扩展板的意义就是让这些问题可以被真实搭建、真实连接、真实运行、真实测出来。这也是为什么我们一直说这块板不是一个简单的“PCIe 扩展板”而是一个 PCIe Gen5 拓扑实验平台。它可以把一台服务器的 PCIe x16 uplink扩展成 16 个 Gen5 x8 downlink也可以根据 firmware 和端口配置构建不同的上行、下行、多主机、混合 endpoint 拓扑。对于研发验证工程师来说这种灵活性非常重要。因为真实项目里最麻烦的问题往往不是标准答案而是各种“不知道为什么就是不稳定”的边缘问题。十、回到今天这个客户问题16 张 RTX5060怎么接我们最终给客户的建议可以概括成一句话使用 PEX89144 144 lane PCIe 5.0 switch 扩展板采用 2 个 MCIO x8 作为 uplink通过 uplink adapter 连接 server 的 PCIe Gen5 x16 slot剩余 16 个 MCIO x8 作为 downlink每一路通过 downlink adapter 转成 PCIe 插槽用于连接 16 张 RTX5060 GPU每张 GPU 以 PCIe Gen5 x8 方式工作。这个方案的 lane 分配非常清晰2 个 MCIO x8 1 个 x16 uplink 16 个 MCIO x8 16 个 x8 downlink 合计 18 个 MCIO x8 刚好使用 144 lanes从工程角度看这就是一个非常漂亮的 PCIe Gen5 多 GPU 扩展案例。它把 PEX89144 的 144 lane 能力真正用满也把 MCIO x8 接口的灵活性体现得非常充分。更重要的是它把“PCIe switch 到底能干什么”这件事讲得非常直观它不是让一台普通服务器凭空变成魔法机器。 它是让工程师可以在可控的平台上构建真实、复杂、高密度的 PCIe Gen5 拓扑。 然后把多 GPU、多 endpoint、多线缆、多 adapter、多端口异常这些问题在实验室里提前暴露出来、定位出来、解决掉。对于真正做研发、验证、测试、系统集成的人来说这就是它最大的价值。因为在高速 PCIe 系统里最贵的不是一块板卡也不是一根线缆。最贵的是问题发生以后你不知道它到底从哪里来。而一块好的 PCIe switch 测试平台就是为了让这些问题不再靠猜。