多卡GPU服务器怎么选？什么时候需要NVLink和更高带宽网络？
多卡GPU服务器按卡间通信需求选型：数据并行训练小中型模型、多实例推理这类通信量小的任务，PCIe 互联机型即可；单卡装不下、需要在卡间做张量并行的大模型训练与推理，通常优先选择具备 NVLink/NVSwitch 的整机；单机 8 卡不够、要为 GPU 跨机训练通信扩展时，通常需要 InfiniBand 或 RoCE 高速网络。RTX 5090 不支持 NVLink，多卡通信经 PCIe；其接口支持 PCIe 5.0，理论 x16 双向带宽约 128 GB/s，实际链路速率和可用带宽需以服务器 CPU、槽位和 PCIe 交换拓扑为准。
一、多卡之间的通信发生在哪条路径上
选多卡服务器，本质是回答一个问题：你的任务里，GPU 之间要传多少数据、多久传一次。多卡系统里有三层通信路径，带宽相差可达一个数量级以上。
| 通信路径 | 典型带宽 | 作用范围 | 说明 |
|---|---|---|---|
| PCIe 4.0 x16 | 双向约 64 GB/s | 机内 | 通用总线，所有服务器都有 |
| PCIe 5.0 x16 | 双向约 128 GB/s | 机内 | 较新一代平台，RTX 5090 采用 |
| NVLink（第三代，A100） | 双向 600 GB/s | 机内 | NVIDIA 专用 GPU 互联 |
| NVLink（第四代，H100/H200） | 双向 900 GB/s | 机内 | 单 GPU 聚合规格 |
| NVLink（第五代，B200/GB200 等 Blackwell 平台） | 双向 1,800 GB/s | 机内 | 单 GPU 聚合规格 |
| InfiniBand NDR | 约 50 GB/s（单向） | 机间 | 400Gb/s，RDMA 高速网络 |
| 万兆以太网 | 约 1.25 GB/s | 机间 | 普通办公级网络，不适合大模型训练 |
三个量级关系值得记住：A100 的 NVLink 按规格相除约为 PCIe 4.0 x16 的 9.4 倍（NVIDIA 官方表述为 10 倍）；H100 的 NVLink 约为 PCIe 5.0 x16 的 7 倍；按双向合计口径，机内 NVLink 900 GB/s 约为 InfiniBand NDR 双向 100 GB/s 的 9 倍。也就是说，卡间能走机内 NVLink 的通信，尽量不要推到机间网络上。
二、NVLink 和 NVSwitch 是什么关系
NVLink 是 NVIDIA 的 GPU 高速直连链路，历代带宽如下：
| NVLink 代数 | 代表 GPU | 单卡双向聚合带宽 |
|---|---|---|
| 第一代（2016） | Tesla P100 | 160 GB/s |
| 第二代（2017） | Tesla V100 | 300 GB/s |
| 第三代（2020） | A100 | 600 GB/s |
| 第四代（2022） | H100 / H200 | 900 GB/s |
| 第五代（2024） | B200 / GB200 等 Blackwell 平台 | 1,800 GB/s |
NVLink 解决的是两块 GPU 之间的直连带宽；但当服务器里有 8 块 GPU 时，仅靠直连无法让任意两块卡之间都跑满带宽，这时需要 NVSwitch 交换芯片。以 HGX A100 八卡基板为例，官方设计使用 6 个 NVSwitch 构建全互联拓扑，任意两块 GPU 之间都可维持 600 GB/s 双向带宽，NVIDIA 官方称其吞吐约为 PCIe Gen4 x16 的 10 倍。
需要注意两个口径：其一，NVLink 表中数值是单 GPU 的聚合双向规格，8 卡整机的实际互联能力取决于 NVSwitch 拓扑设计；其二，GeForce 卡通常不支持 NVLink，多卡通信依赖 PCIe，例如 RTX 5090 官方规格明确标注不支持 NVLink。数据中心 PCIe 卡是否支持 NVLink 应查对应 SKU，例如部分 H100 PCIe/NVL 产品提供 NVLink 互联；实际通信路径还取决于服务器拓扑与平台配置。
三、什么时候需要 NVLink
判断依据是并行策略带来的通信模式，而不是"多卡"本身。
张量并行（TP）是最依赖 NVLink 的场景。 当单个模型层大到一张卡放不下时，需要把每层的权重按维度切开分到多卡，前向和反向的每一步计算都伴随大量卡间通信（AllReduce / AllGather）。这类通信高频、大流量、难以与计算重叠，用 PCIe 会明显拉低 GPU 利用率。
典型情形包括：
70B 级大模型的多卡推理：权重必须切分到多卡，解码阶段每生成一个 token 都有卡间同步；
数百亿参数以上模型的多卡训练：张量并行与流水线并行组合，张量并行部分对带宽最敏感；
梯度检查点等优化后，通信占比反而升高的场景：计算被压缩后，瓶颈会向通信转移。
经验判断信号：如果你的并行策略里存在"单层跨卡切分"，基本就需要 NVLink 机型；如果只是"每个 GPU 各自算一部分、定期同步"，PCIe 可能就够。
四、什么时候 PCIe 就够了
以下场景对卡间带宽不敏感，PCIe 机型通常可以胜任，往往还能显著降低成本：
多实例推理（吞吐扩展）：每张卡独立加载一份模型副本对外服务，卡间几乎不通信，用负载均衡分流即可。这是 PCIe 机型最典型的用法；
数据并行训练（DDP）中小模型：每个 step 只做一次梯度 AllReduce，且框架支持把梯度分桶、与反向计算重叠执行。模型越小、batch 越大，通信占比越低，PCIe 4.0/5.0 的开销通常可以接受；
LoRA 等参数高效微调：需要同步的参数量远小于全参训练，通信量相应缩小；
流水线并行的通信相对友好：卡间传递的是激活值而非整层梯度，通信量与策略设计相关，对 NVLink 的依赖低于张量并行。
PCIe 5.0 x16 双向约 128 GB/s，比 PCIe 4.0 翻倍，进一步缩小了与 NVLink 的差距（H100 的 900 GB/s 约为它的 7 倍），对通信不密集的任务已经比较充裕。
以 RTX 5090 为例：官方规格确认其支持 PCIe 5.0、不支持 NVLink，多卡通信经 PCIe。其接口支持 PCIe 5.0，理论 x16 双向带宽约 128 GB/s；实际链路速率和可用带宽需以服务器 CPU、槽位和 PCIe 交换拓扑为准。因此 RTX 5090 多卡整机适合评估多实例推理、数据并行训练、微调这类 PCIe 友好的负载；若任务核心是跨卡张量并行的大模型训练，通常优先评估配备 NVLink 的数据中心卡整机。
五、什么时候需要更高带宽网络
单机 8 卡仍不够用时（例如训练千亿参数模型，或需要更多卡分摊吞吐），就要跨机组成集群，此时通信从机内总线转移到机间网络：
万兆以太网（约 1.25 GB/s）严重不足：与机内 NVLink 相差两个数量级以上，只适合数据搬运和 checkpoint 存储，不适合训练期的梯度同步；
主流方案是 InfiniBand 或 RoCE（RDMA over Converged Ethernet）：当前主流 InfiniBand NDR 为 400Gb/s，约 50 GB/s（单向；双向合计约 100 GB/s），配合 RDMA 可以绕过 CPU 协议栈直接读写远端显存，延迟和 CPU 占用都显著低于普通以太网；
并行策略要与网络层级匹配：由于机间带宽（NDR 双向约 100 GB/s）远低于机内 NVLink（数百 GB/s 到 1.8 TB/s），张量并行应尽量留在单机内部，机间使用流水线并行、数据并行或专家并行这类对跨机带宽相对宽容的策略。
若目标是解决 GPU 的跨机训练通信，通常只有超过单机容量、需要跨机扩展时，才需要为 InfiniBand 或 RoCE 付费。单机内部 GPU 通信仍主要由 NVLink 或 PCIe 决定；高速网络也可能因存储或数据接入需求单独部署。
六、按通信需求选型的四步判断
- 单卡显存是否够用：模型权重加 KV Cache 加运行开销能装进单卡，就先考虑单卡，多卡并非必需。显存估算方法可参考《GPU显存不够会怎样？大模型训练和推理的显存估算方法》；
- 需要多卡时，先判断通信模式：多实例推理、数据并行训练、微调等 PCIe 友好负载，选择 PCIe 互联的多卡机型即可；涉及张量并行的大模型训练与推理，选择 NVLink/NVSwitch 机型；
- 确认机型形态与拓扑：SXM 数据中心 GPU 通常用于配备 NVLink/NVSwitch 的 HGX/DGX 等系统，例如 H100 SXM5 单卡 NVLink 规格为 900 GB/s，整机互联取决于 NVSwitch 拓扑；PCIe 形态与 GeForce 卡则应按具体 SKU 和服务器拓扑确认是否具备 NVLink。H100 的 SXM 与 PCIe 版本差异可参考《H100的SXM和PCIe版本有什么区别？》；
- 超出单机 8 卡再考虑高速网络：跨机训练时确认平台是否提供 InfiniBand/RoCE 互联，并把张量并行留在机内。
七、按通信需求在立方云选择对应机型
立方云提供多种多卡形态，可以按上述通信需求分档选择。
PCIe 友好的多卡场景：多实例推理、数据并行训练、参数高效微调等任务，可选择 RTX 5090 多卡机型。立方云公开首页展示的 8 卡 RTX 5090 整机配置为：GPU 8 张、CPU 64 核、内存 512 GB、存储 3.84 TB x 2，月付标价 13,200 元，低于 8 张单卡按时叠加计费（8 卡按小时单价的整月成本约 17,400 元，按每月 730 小时估算）。RTX 5090 不支持 NVLink，多卡通信经 PCIe；其接口支持 PCIe 5.0，理论 x16 双向带宽约 128 GB/s，实际链路速率和可用带宽需以该整机的 CPU、槽位和 PCIe 交换拓扑为准。单卡起步也可按小时租用（RTX 5090 32 GB 约 2.98 元/时）。
需要 NVLink 的场景：单卡装不下、需要张量并行的大模型训练与推理，立方云首页展示了 H100 80G SXM5、H200 141GB、A100 80G SXM 等 8 卡整机（获取报价）。公开首页展示 H100 80G SXM5 的显存带宽为 3.0 TB/s；该页面标注与 NVIDIA 参考规格的口径可能不同，具体整机拓扑、显存带宽与配置以服务商控制台实时展示为准。
以上型号、价格与库存为立方云公开首页口径(2026-09-03)，实例形态、计费方式与可用性以控制台实时展示为准。
FAQ
Q1：两张 RTX 5090 能通过 NVLink 互联吗？ 不能。NVIDIA 官方规格明确标注 RTX 5090 不支持 NVLink，多卡通信经 PCIe。其接口支持 PCIe 5.0，理论 x16 双向带宽约 128 GB/s；实际链路速率和可用带宽需以服务器 CPU、槽位和 PCIe 交换拓扑为准。消费级 GeForce 显卡在近年产品线中未提供 NVLink 支持，多卡训练通常采用数据并行等对 PCIe 更友好的策略。
Q2：数据并行训练一定要用 NVLink 机型吗？ 不是。数据并行每个 step 只同步一次梯度，且梯度分桶可与反向计算重叠，PCIe 4.0/5.0 在模型不大、batch 较大时开销可以接受。真正强依赖 NVLink 的是张量并行——单层跨卡切分、高频通信的场景。
Q3：多卡推理需要 NVLink 吗？ 取决于并行方式。每张卡独立跑一个模型实例的吞吐扩展（多副本部署）不需要 NVLink，PCIe 甚至基本不用卡间通信；而把单个大模型切到多卡上的张量并行推理（如 70B 模型分到多卡），解码阶段每步都有卡间同步，对 NVLink 带宽敏感。
Q4：NVSwitch 和 NVLink 是什么关系？ NVLink 是 GPU 之间的直连链路，NVSwitch 是配套的交换芯片。8 卡服务器里任意两卡都要通信，仅靠直连无法让所有卡对同时跑满带宽，NVSwitch 构建全互联拓扑解决这个问题。HGX A100 八卡基板官方设计使用 6 个 NVSwitch，任意 GPU 对之间维持 600 GB/s。
Q5：万兆以太网能跑多机大模型训练吗？ 不建议。万兆以太网约 1.25 GB/s，仅为 InfiniBand NDR 单向带宽（400Gb/s，约 50 GB/s）的四十分之一，梯度同步会成为严重瓶颈。多机大模型训练建议选择提供 InfiniBand 或 RoCE 高速网络的平台，并将张量并行留在单机内部。