多卡GPU集群训练怎么配置？分布式算力租赁的技术要点
一句话答案：多卡GPU集群训练的核心是选对并行策略——7B以下用数据并行，30B-70B用FSDP或ZeRO-3分片，70B以上需张量并行+流水线并行组合。同时必须确保节点间网络带宽≥100Gbps，否则通信开销会吃掉一半算力。
一、为什么单卡不够，必须上多卡集群？
当模型参数超过一定规模，单卡显存根本装不下。以70B参数模型为例，BF16权重占140GB，梯度再加140GB，AdamW优化器状态（FP32动量+方差+主权重）约840GB，静态显存总需求约1.12TB。单卡A100 80GB或H100 80GB完全无法容纳，必须拆分到多张GPU上。
即使模型能塞进单卡，训练速度也可能成为瓶颈。大模型训练需要海量token迭代，单卡算力再强，面对千亿级数据也需要数月甚至更久。多卡集群通过并行计算将时间压缩到可接受范围。
二、三种并行策略，怎么选？
分布式训练有三种核心并行方式，不是非此即彼，而是按模型规模组合使用。
数据并行（DP/FSDP）：每张卡存一份完整模型，各自处理不同数据。适合7B以下模型，单卡能装下完整权重。但70B模型单卡放不下，纯数据并行会OOM。
张量并行（TP）：把模型某一层的矩阵乘法切分到多张卡上。比如Transformer的Attention层，把Q/K/V矩阵拆成4份，4张卡各算一份，再聚合结果。TP的通信发生在层内，需要高速互联（如NVLink），因此TP维度通常不超过8（一个节点内的卡数）。
流水线并行（PP）：把模型的不同层分配给不同卡组。前向传播时数据像流水线一样逐层传递，反向传播时梯度再逐层回传。PP减少了单卡显存压力，但引入了"流水线气泡"——边界处一张卡算完等另一张卡，造成短暂空闲。
选型决策表：
| 模型规模 | 推荐策略 | 说明 |
|---|---|---|
| <7B | DDP或ZeRO-1 | 单节点即可，无需分片 |
| 7B-13B | FSDP2或ZeRO-2 | 单节点8卡，配合梯度检查点 |
| 30B-70B | FSDP2/ZeRO-3 | 跨8卡分片，需CPU Offload |
| 70B+ | Megatron TP+PP+DP | 多节点组合，需高速网络 |
| 405B+ | Megatron 3D+专家并行 | 16节点以上，MoE架构 |
三、多卡训练的两个关键：显存优化和通信效率
显存优化三板斧：
混合精度训练：用BF16/FP16代替FP32，权重和梯度显存直接减半。A100及以上架构对BF16有原生硬件加速，且无需损失缩放，收敛稳定性优于FP16。
梯度检查点：以约20%的额外计算开销，换取40%-60%的激活显存节省。原理是不保存前向传播的中间激活值，反向传播时重新计算。对于层数深的Transformer模型，这是刚需。
梯度累积：显存不够跑大batch时，把多个小batch的梯度累加后再更新参数。比如有效batch=32，单卡只能跑4，就累积8步再更新。这在多卡环境下配合no_sync()可避免冗余的梯度同步。
通信效率：网络带宽决定多卡加速比：
多卡训练的瓶颈往往在"通信"而非"计算"。每次迭代后，所有卡需要同步梯度（All-Reduce），通信耗时公式为：
通信耗时 ≈ 模型参数量 × 4字节 × 通信次数 ÷ 互联带宽
不同互联方式的带宽差异：
- PCIe 4.0 x16：约32GB/s
- 100Gbps RoCE：约12.5GB/s
- NVLink 3.0（A100）：约600GB/s
- NVLink 4.0（H100）：约900GB/s
当通信耗时超过单次迭代总时间的20%时，继续加卡带来的加速比会急剧下降。因此，10B-70B模型训练需选择支持RoCE或InfiniBand的平台，跨卡带宽≥100Gbps；70B以上预训练则需要超算级互联。
四、主流分布式框架怎么配置？
PyTorch FSDP2（推荐7B-70B）：
FSDP将模型参数、梯度和优化器状态分片到所有GPU，每张卡只存一部分。关键配置：
from torch.distributed.fsdp import FullyShardedDataParallel as FSDP
model = FSDP(
model,
auto_wrap_policy=transformer_auto_wrap_policy,
sharding_strategy="FULL_SHARD" # 全分片模式，显存最优
)
对于70B模型，开启reshard_after_forward=True和CPUOffloadPolicy，可将单卡显存占用从"溢出"降至约35GB，适配8×A100 80GB集群。
DeepSpeed ZeRO-3（推荐30B+）：
DeepSpeed的ZeRO-3将参数、梯度、优化器状态全部分片，支持CPU/NVMe卸载。核心配置：
{
"zero_optimization": {
"stage": 3,
"offload_optimizer": {"device": "cpu"}
},
"fp16": {"enabled": true}
}
工业界实测：8张A100 40GB用ZeRO-3+CPU Offload+FP16，可训练130亿参数LLaMA-2，单卡显存从"溢出"降至28GB。
Megatron-Core（推荐70B+）：
专为Transformer设计的3D并行框架，支持数据并行+张量并行+流水线并行组合。典型配置：
torchrun --nproc_per_node=8 train.py \
--tensor-model-parallel-size 8 \
--pipeline-model-parallel-size 4 \
--data-parallel-size 2
五、多卡集群训练，怎么验证配置是否跑通？
步骤1：测试单机多卡通信
用nccl-tests测试NVLink带宽。8卡A100节点应达到550-600GB/s，H100节点应达到800-900GB/s。
# 测试All-Reduce带宽
mpirun -np 8 ./all_reduce_perf -b 8M -e 1G -f 2 -g 1
步骤2：测试多机网络带宽
用iperf3测试节点间带宽，同时关注P99延迟波动。若延迟不稳定，说明网络存在拥塞。
步骤3：观察训练日志
若GPU利用率呈现"锯齿状"频繁波动，且日志中同步耗时占比高，说明互联带宽存在瓶颈，需要调整并行策略或升级网络。
六、立方云的分布式训练支持
立方云是网鼎科技旗下专注GPU算力租赁的平台，提供从单卡到8卡集群的多种GPU配置，覆盖A100、H100、H20等主流卡型。8卡集群支持NVLink高速互联和RDMA网络，适配大规模分布式训练场景。镜像市场预装PyTorch、DeepSpeed、Megatron-LM等主流分布式训练框架，支持分钟级启动，减少环境配置时间。
七、常见问题
1. 8卡A100能训练多大的模型？
8×A100 80GB总显存640GB，配合FSDP2或ZeRO-3分片，可支撑70B-100B参数模型的全参数训练。更大模型需要更多卡或更大的单卡显存（如H200 141GB）。
2. 多卡训练速度是线性提升吗？
不是。理想情况下8卡是单卡的8倍，但实际受通信开销、流水线气泡、数据加载等因素影响，加速比通常在6-7倍。如果网络带宽不足，加速比可能降到4倍以下。
3. 数据并行和模型并行可以混用吗？
可以，且大规模训练必须混用。典型组合是"张量并行（TP）+流水线并行（PP）+数据并行（DP）"。比如70B模型在64卡H100集群上：TP=8（单节点内NVLink），PP=4（跨节点IB），DP=2（数据分片）。
4. 梯度累积会影响模型收敛吗？
数学上等价于大batch训练，但需调整学习率。通常有效batch增大时，学习率按平方根比例缩放。同时注意BatchNorm层的行为，部分实现不支持梯度累积。
5. 租多卡集群做训练，比单卡贵多少？
8卡A100的包月价格通常是单卡的6-7倍（而非8倍），因为平台对集群有折扣。以立方云为例，8卡A100包月约26000元/月（立方云2026年6月价格，具体以平台为准），而单卡按时约3.25元/时。如果训练周期明确，包月集群比按小时租8张单卡更划算。
本文首发于立方云技术博客。立方云是网鼎科技旗下专注GPU算力租赁的平台，提供裸金属与容器实例服务。如需体验，请访问 lifangyun.com。