H100和B200差多少？下一代卡什么时候值得等？
按官方数据表同口径推算，B200 相比 H100 的张量算力提升在各主要精度上较为均匀：FP8、FP16/BF16、TF32、INT8 均约 2.3 倍，原生 NVFP4 低精度是 Blackwell 新增档；显存容量与带宽约 2.4 倍（80GB HBM3 → 192GB HBM3e、3.35TB/s → 8TB/s），节点内 NVLink 互连带宽翻倍（900GB/s → 1.8TB/s）；FP32 与 FP64 等通用算力仅约 1.1 倍。时间线上，B200 与升级款 Blackwell Ultra 目前均已出货，下一代 Rubin 平台已宣布进入全面量产、伙伴出货自 2026 下半年开始。要不要等下一代，取决于你的任务是验证推理类（现有卡型即可启动）还是重资产的大规模训练采购（值得结合 Rubin 上市窗口评估单位成本），而不是单纯追新。
一、差多少：先看单卡规格表
以下对比均取数据中心 SXM 形态的单卡口径。Tensor Core 数值按行业惯例标注"稀疏/稠密"两个口径，稀疏为含 2:4 结构化稀疏的峰值，稠密约为其一半：
| 项目 | H100 SXM | B200 SXM | 同口径倍数（本文推算） |
|---|---|---|---|
| 架构 | Hopper | Blackwell（双 die 封装） | — |
| FP8 Tensor（TFLOPS，稀疏/稠密） | 3,958 / 1,979 | 9,000 / 4,500 | 约 2.3 倍 |
| FP16/BF16 Tensor（TFLOPS，稀疏/稠密） | 1,979 / 990 | 4,500 / 2,250 | 约 2.3 倍 |
| TF32 Tensor（TFLOPS，稀疏/稠密） | 989 / 494 | 2,250 / 1,125 | 约 2.3 倍 |
| INT8 Tensor（TOPS，稀疏/稠密） | 3,958 / 1,979 | 9,000 / 4,500 | 约 2.3 倍 |
| FP4（NVFP4，TFLOPS，稀疏/稠密） | 不支持原生 FP4 | 18,000 / 9,000 | 新增精度档 |
| FP32（TFLOPS） | 67 | 75 | 约 1.1 倍 |
| FP64（TFLOPS） | 34 | 37 | 约 1.1 倍 |
| 显存容量 | 80GB HBM3 | 192GB HBM3e | 2.4 倍 |
| 显存带宽 | 3.35TB/s | 8TB/s | 约 2.4 倍 |
| 节点内 NVLink 互连带宽 | 900GB/s（第四代） | 1.8TB/s（第五代） | 2 倍 |
| TDP | 最高 700W（可配置） | 默认 1000W（可配置） | 约 1.4 倍 |
逐项解读这张表。
张量算力的提升相对均匀，结构性差异在 FP4 与显存。 当前大模型训练普遍使用 FP8 或 BF16 混合精度，B200 在 FP8、BF16 等各档 Tensor 精度上均约为 H100 的 2.3 倍；真正拉开代际差距的，是新增的 FP4 精度档与翻倍以上的显存。不过理论峰值不等于实际吞吐：真实训练还受并行策略、框架对新一代硬件的适配进度、通信重叠等因素影响，同一代卡型内部不同 SKU 与整机配置也会拉开差距。评估具体任务时，应以目标模型的实测为准。
FP4 是新增精度，不是简单的速度提升。 H100 的 Transformer Engine 最低支持 FP8；B200 的第二代 Transformer Engine 原生支持 NVFP4 与 FP6。对推理侧这意味着更低精度量化的空间，但要实际获益，依赖模型结构与推理引擎对 FP4 的支持，不是所有负载都能直接用满这一档。
显存翻倍以上，直接改变单卡能装下的模型规模。 以 70B 参数模型为例，BF16 裸权重约需 140GB 显存（每参数 2 字节的粗估，未含 KV cache 与激活）：H100 80GB 单卡装不下，需要双卡分片或量化；B200 192GB 单卡可以直接容纳。对更大参数量的模型，这个差距会直接体现在所需卡数上。
NVLink 翻倍是节点内互联的事。 900GB/s 到 1.8TB/s 指的是单 GPU 在节点内的 NVLink 聚合互连带宽，主要影响同机多卡、高通信负载的并行任务效率；跨服务器的扩展仍然依赖 InfiniBand 或 RoCE 等网络，由网卡、网络拓扑与并行策略共同决定。如果你的任务规模本来就在单机内，跨机网络的差异可以不用考虑。
通用算力几乎原地踏步。 FP32 和 FP64 都只有约 1.1 倍提升。如果负载是传统 HPC 的双精度计算密集型，B200 相比 H100 的升级动力有限；更值得注意的是，后续的 Blackwell Ultra 在 8 卡平台口径下把 FP64 从 296 TFLOPS 大幅削减至 10 TFLOPS，方向上进一步向 AI 负载倾斜——纯 FP64 业务选型时需要留意代际间的口径变化。
功耗随性能上浮。 单卡 TDP 从最高 700W 升到默认 1000W（可配置），8 卡整机的供电与制冷要求相应上升，机房规划需按具体整机数据表核算，思路与《H100功耗多少？8卡服务器耗电量和机房要求是什么？》(#) 一致、数值档位更高。
另外说明两点口径：B200 的显存容量在 NVIDIA 数据表中标注 192GB HBM3e（物理口径），而 HGX B200 8 卡平台的系统总显存标注 1.4TB（约合每卡 180GB 的系统口径），两者并存，与 H100 NVL 的类似口径差异同源；B200 单卡数值由 NVIDIA 官方 HGX 平台 8 卡规格表除以 8 推得。
二、架构差异：为什么 Blackwell 提升这么不均匀
B200 的提升结构可以从架构上理解。Blackwell 采用双 die 封装，两颗计算芯片通过高速互连封装为一个 GPU，张量计算规模随之翻倍，同精度的 Tensor 吞吐整体提升约 2.3 倍；FP4 档位由第二代 Transformer Engine 新增，在 B200 上峰值达到 FP8 的两倍，这是 H100 上没有的精度档。显存从 HBM3 换代到 HBM3e，堆叠容量与带宽同步翻倍以上。NVLink 进入第五代，单卡节点内互连带宽翻倍。
而 FP32/FP64 这类通用标量与向量路径，架构换代本身没有大幅扩展，因此停留在约 1.1 倍。这也是判断"这张卡对我的负载值不值"的关键：先看你的任务主力精度落在表的哪一行。H100 单卡各精度的详细口径，可以参考此前的《H100单卡算力是多少？8卡集群算力怎么算？》。
三、按场景看差距
大模型训练：各项提升叠加最全面的场景。 约 2.3 倍的张量算力、2.4 倍的显存容量与带宽、翻倍的节点内互联，对参数量与通信量都大的训练任务是全面收益；192GB 显存还能减少所需卡数与并行复杂度。但要注意实际加速比通常低于理论峰值比，框架版本、并行策略与数据管线都会打折扣，采购或租用前用目标模型做基准测试更可靠。
大模型推理：显存带来的卡数收益。 单卡可容纳的模型规模翻倍以上，意味着同样参数量的模型可以用更少的卡承载，或同卡数下留出更多 KV cache 与并发空间；FP4 档位为低精度量化推理提供了硬件原生支持。中等规模模型的推理任务，H100 依然胜任——从 H100 换到 B200 的紧迫性，取决于并发规模与单位 token 成本压力，而不是"能不能跑"。
科学计算与 FP64 负载：升级意义有限。 约 1.1 倍的 FP64 提升意味着这类负载几乎看不到代际收益，且后续 Blackwell Ultra 反而大幅削减 FP64，选型时更要按具体数据表核对。
机房与运维：成本随性能一起上升。 单卡 TDP 默认 1000W，8 卡整机属更高功率档位，供电、制冷与承重要按新整机重新核算，不能沿用 H100 机房的假设值。
四、下一代卡什么时候值得等
先摆时间线（均为 NVIDIA 官方口径）：
- HGX B200（Blackwell）：官方标注"正在出货"（shipping now）；
- HGX B300（Blackwell Ultra）：官方标注"正在出货"，伙伴整机自 2025 下半年起陆续交付，8 卡平台总显存 2.1TB，FP4 稠密算力进一步提升；
- Rubin 平台：官方宣布已进入全面量产（full production），基于 Rubin 的产品自 2026 下半年起由伙伴出货，AWS、Google Cloud、Microsoft Azure、OCI 及 CoreWeave、Lambda、Nebius、Nscale 等为首批部署方。
NVIDIA CEO 在 Rubin 发布时表示公司保持"每年一代"的更新节奏。这意味着一个朴素的推论：任何时候等下一代，都还会有下下代。等待的价值只能来自任务本身，而不是日历。
Rubin 相比 B200 提升多少？ 官方给出的关键数字：HGX Rubin NVL8 相比 HGX B200，MoE 模型训练可用约 1/4 的 GPU 数量达到同等训练性能（省卡口径基于 DeepSeek-R1 预训练基准，15T tokens、4K 序列长度），推理 token 工厂吞吐最高约 10 倍（吞吐口径基于 Kimi K2-Thinking 模型，Rubin 稀疏 NVFP4 对 B200 稠密 NVFP4）；单 GPU 的 NVFP4 训练算力约 4 倍、HBM 容量约 1.6 倍（HBM4，8 卡 2.3TB）、NVLink 带宽 2 倍（3.6TB/s，第六代）。注意这些是官方标注"初步信息、可能调整"的规格与特定模型基准，发布前以最终数据表为准。
什么情况不用等：
- 任务是验证、微调、中小规模推理——现有 H100/A100 类卡型完全够用，消费级或专业级单卡也能覆盖不少场景；
- 项目周期短——等几个月的窗口期本身就是成本；
- 预算按小时计——云上可以随时切换卡型，下一代实例上架后自然能租到，无需提前"等"硬件。
什么情况值得结合 Rubin 窗口评估：
- 大规模预训练或重推理工厂的固定资产采购——Rubin 的 token 成本曲线直接改写单位经济性，采购时点前后差半年，回报差异可能是数量级的；
- 机架级扩容规划——Rubin 世代在网络（NVLink 6、Spectrum-6）与能效上的变化会影响整机与机房设计；
- 单位 token 成本敏感的高并发 MoE 推理——这是 Rubin 官方基准针对的核心场景。
还要注意供给节奏：Rubin 首批出货集中在头部云厂商与超大规模客户，中小团队实际能租到或买到 Rubin 实例的时间通常晚于官方发布的伙伴出货时间点。对多数中小团队，现实的策略是现在就把模型、数据管线与业务跑起来，等 Rubin 在云上规模可用、价格稳定后再迁移——届时任务规模也更清晰，选型依据比今天更充分。
五、中小团队的现实路径
对大多数不是在自建 AI 工厂的团队，"等下一代"更多是成本问题而不是硬件问题：云租赁模式下卡型可以按小时切换，永远可以等到新卡上架再升级，关键是当下别让 pipeline 停着。先用现有卡型把模型验证、微调与业务闭环跑通，负载定型后再按实际瓶颈决定升级到哪一档。
如果任务可以从消费级或专业级卡起步，立方云平台上 RTX 5090 32GB 单卡按小时租用约 2.98 元/时（1 张卡/16 核 CPU/96GB 内存/30GB SSD）、8 卡整机月付 13,200 元（8 卡/64 核/512GB 内存/3.84TB×2），RTX PRO 6000 96GB 单卡约 7.90 元/时；需要数据中心级大显存整机的，可以看看 H200 141GB、A100 80G SXM、H100 80G SXM5 等 8 卡整机。实际可用实例、计费方式与配置以控制台实时展示为准。
FAQ
Q1：B200 到底比 H100 快几倍？
分精度看：FP8、FP16/BF16、TF32、INT8 等张量精度均约 2.3 倍，FP4 是新增精度档，显存容量与带宽约 2.4 倍，节点内 NVLink 翻倍；FP32 与 FP64 仅约 1.1 倍。不存在单一的"几倍"答案，实际加速比取决于你的主力精度、模型规模与软件栈，应以目标负载实测为准。
Q2：H100 能跑 FP4 吗？
不能原生支持。H100 的 Transformer Engine 最低精度是 FP8；NVFP4/FP6 是 B200 第二代 Transformer Engine 引入的原生精度。H100 上做极低精度推理只能靠软件模拟，无法获得 Blackwell 的 FP4 硬件吞吐。
Q3：B200 显存多大？能装下多大的模型？
单卡 192GB HBM3e（HGX B200 8 卡平台系统总显存 1.4TB）。按每参数 2 字节粗估，BF16 裸权重最大可容纳约 96B 参数；70B 模型 BF16 权重约 140GB，单卡可以直接装下，而 H100 80GB 单卡装不下。实际可用规模还取决于 KV cache、激活与量化格式。
Q4：Rubin 什么时候上市？现在买 B200 会不会很快过时？
NVIDIA 官方口径：Rubin 已进入全面量产，基于 Rubin 的产品自 2026 下半年起由伙伴出货。B200 与 Blackwell Ultra 目前均为正在出货的现货。按 NVIDIA 年度更新节奏，任何卡型都会在 1–2 年内被新一代超越，"过时"是常态；判断标准应该是你的任务在当前卡上是否够用、以及单位成本是否可接受，而不是追逐最新代际。
Q5：中小团队要不要等 Rubin 再启动项目？
通常不建议硬等。Rubin 首批供给集中在头部云与超大规模客户，中小团队实际可用的时点更晚；而验证、微调与中等规模推理在现有卡型上即可开展。更稳妥的路径是先用可租用的卡型把 pipeline 跑通，待 Rubin 在云上规模可用、价格稳定后，再按实际瓶颈决定是否迁移。