H100相当于多少张4090？不同任务下该如何比较？
没有单一倍数，先问精度和任务：FP64 上 1 张 H100 SXM 约相当于 26 张 4090（34 对约 1.3 TFLOPS）；FP16/BF16 与 FP8/INT8 的 Tensor 稠密理论峰值约相当于 3 张（约 989 对约 330 TFLOPS、约 1,979 对约 660 TOPS）；显存容量与带宽约为 3.3 倍（80GB HBM 对 24GB GDDR6X、3.35TB/s 对约 1TB/s）；FP32 则是 4090 更高（82.6 对 67 TFLOPS），游戏与图形任务仍应选 4090。理论峰值也不等于实际吞吐，还取决于模型、精度、batch、框架与多卡互联效率。
一、"相当于多少张"要先问精度
两张卡的定位完全不同：4090 是 Ada 架构的消费级显卡，FP64 双精度被削减到 FP32 的约 1/64；H100 是 Hopper 架构的数据中心 GPU，为 HPC 保留全速 FP64，并为 AI 配备第四代 Tensor Core 与 Transformer Engine。所以倍数会随精度剧烈变化，任何"一张 H100 顶 N 张 4090"的说法都必须绑定口径。
按同口径（稠密对稠密）计算的主要倍数：
| 口径 | H100 SXM | RTX 4090 | 倍数（H100÷4090） |
|---|---|---|---|
| FP64 | 34 TFLOPS | 约 1.3 TFLOPS | 约 26 倍 |
| FP32 | 67 TFLOPS | 82.6 TFLOPS | 约 0.8 倍（4090 反而约为 H100 的 1.2 倍） |
| FP16/BF16 Tensor（稠密） | 约 989 TFLOPS | 约 330 TFLOPS | 约 3 倍 |
| FP8/INT8 Tensor（稠密） | 约 1,979 TOPS | 约 660 TOPS | 约 3 倍 |
| 显存容量 | 80GB | 24GB | 约 3.3 倍 |
| 显存带宽 | 3.35 TB/s | 约 1TB/s | 约 3.3 倍 |
| 卡间互联理论带宽 | NVLink 900 GB/s | PCIe 4.0 x16 双向约 64GB/s | 约 14 倍 |
两点说明。第一，H100 数据表标注的 Tensor 峰值为含结构化稀疏的口径（如 FP16 1,979 TFLOPS），上表稠密值按 2:1 折算。第二，4090 官方页仅标注 1,321 AI TOPS 的含稀疏峰值；本文的 FP16/BF16 约 330 / 660、FP8/INT8 约 660 / 1,321 分别为基于 Ada Tensor Core 规格与官方 AI TOPS 交叉校验的稠密 / 含稀疏理论 Tensor 峰值，并非 flopper 规格表的 Standard 行数值。flopper 的 FP16/BF16 Standard 为约 165、FP8/INT8 Standard 为约 330，属于不同的标准浮点口径，不能与 Tensor 峰值混用。H100 还有 PCIe 版本，倍数更低：FP64 约 20 倍、FP16 稠密约 2.3 倍，FP32 上 4090 约为 H100 PCIe 的 1.6 倍。
二、核心规格对比
| 维度 | H100 SXM | H100 PCIe | RTX 4090 |
|---|---|---|---|
| 架构 | Hopper（2022） | Hopper（2022） | Ada Lovelace（2022） |
| FP64 | 34 TFLOPS | 26 TFLOPS | 约 1.3 TFLOPS |
| FP64 Tensor Core | 67 TFLOPS | 51 TFLOPS | —（无 FP64 Tensor 加速） |
| FP32 | 67 TFLOPS | 51 TFLOPS | 82.6 TFLOPS |
| TF32 Tensor（稠密/稀疏） | 约 494 / 989 | 约 378 / 756 | —（无官方口径，本文不比较） |
| FP16/BF16 Tensor（稠密/稀疏） | 约 989 / 1,979 | 约 756 / 1,513 | 约 330 / 660（理论 Tensor 峰值；flopper Standard 约 165） |
| FP8/INT8 Tensor（稠密/稀疏） | 约 1,979 / 3,958 | 约 1,513 / 3,026 | 约 660 / 1,321（理论 Tensor 峰值；flopper Standard 约 330；官方页标注 1,321 AI TOPS 为含稀疏峰值） |
| 显存 | 80GB HBM | 80GB HBM | 24GB GDDR6X |
| 显存带宽 | 3.35 TB/s | 2 TB/s | 1,008 GB/s（约 1TB/s） |
| 互联 | NVLink 900 GB/s（单 GPU 双向规格，多卡经 NVSwitch 拓扑）＋PCIe Gen5 128GB/s | NVLink 600 GB/s（桥接）＋PCIe Gen5 128GB/s | PCIe 4.0 x16（双向理论约 64GB/s），无 NVLink |
| TDP | 最高 700W（可配置） | 300–350W（可配置，数据表口径） | 450W |
| MIG 多实例 | 最多 7 个（每个 10GB） | 最多 7 个（每个 10GB） | 无 |
| 整机生态 | HGX H100（4/8 卡）、DGX H100（8 卡） | 1–8 卡服务器 | 消费级主机、工作站整机 |
注：H100 数据表 Tensor 值为含结构化稀疏口径，稠密值按 2:1 折算；4090 的 Tensor 值为架构理论峰值，flopper 表中的 Standard 行属于不同计算口径，仅用于列示其 FP32、FP64、带宽与 TDP。H100 另有 NVL 双卡桥接版本（官方产品页按单卡 94GB/3.9TB/s 标注，数据表按双卡合计 188GB/7.8TB/s 聚合口径表述），不在本文对比范围。
三、按任务看怎么比较
FP64 科学计算：差距最大，约 26 倍。 气象、CFD、分子动力学等 HPC 负载以双精度为主。4090 的 FP64 约 1.3 TFLOPS，H100 SXM 为 34 TFLOPS——这不是代差，是产品定位：消费卡历来削减双精度。这类任务用 4090 堆数量基本不现实。
大模型训练：理论峰值约 3 倍，实际差距取决于任务。 FP16/BF16 稠密理论峰值上 H100 SXM（约 989）约为 3 张 4090（3×330=990）之和，数字上几乎相同；训练吞吐还受模型、batch、精度、软件栈、显存与互联等因素影响。以 30B 模型 FP16 裸权重约 60GB 为例：H100 80GB 单卡从容量上即可加载权重；4090 需要 3 张卡分片才放得下裸权重，聚合显存虽可利用，但每卡峰值、通信缓冲与 PCIe 互联效率都会限制可训练规模。H100 还配备专用的 Transformer Engine，以 FP8 精度加速大模型训练（数据表口径），4090 无此专用引擎。
FP8/INT8 推理：理论峰值约 3 倍。 H100 SXM 的 FP8/INT8 稠密约 1,979 TOPS，约为 4090（约 660 TOPS）的 3 倍。在显存带宽、容量或多卡通信成为瓶颈的大批量、长上下文推理中，H100 的优势可能高于单纯 Tensor 峰值比；实际差距仍应以目标模型、量化格式和压测结果为准。
图形与游戏：选 4090。 FP32 上 4090（82.6）反而高于 H100（67），且消费级产品线有完整的游戏驱动、光追与创作生态。H100 的定位是计算，不是图形。
多卡与数据中心能力。 H100 SXM 的 NVLink 900 GB/s 与 PCIe 4.0 x16 双向理论约 64GB/s 相比，卡间互联的理论带宽量级相差约 14 倍。NVLink/NVSwitch 通常更有利于张量并行等高通信负载；实际多卡扩展效率仍取决于整机拓扑、并行策略、NCCL 配置与通信重叠。MIG 可把一张 H100 拆为最多 7 个 10GB 实例做多租户推理，4090 无此能力。
四、理论峰值之外：实际吞吐怎么估
倍数表是理论口径，实际选型还要看三点。 第一，峰值不等于吞吐：算子实现、模型结构、batch 大小、框架版本都会让实际利用率的差距与理论倍数不同，应以实测为准。 第二，多卡不能简单替代单卡大显存：ZeRO/FSDP、张量并行可以把参数与训练状态分片到多卡，但每卡峰值显存、通信缓冲与互联效率仍会限制可训练或可服务的规模，3 张 4090 的聚合显存在全参训练 30B 级模型时明显不足。 第三，能效与部署形态：按稠密峰值与标称 TDP 粗估，H100 SXM 约 1.4 TFLOPS/W，4090 约 0.73 TFLOPS/W，约 2 倍——但 H100 SXM 的 TDP 最高可配置至 700W，整机供电与机房散热须按具体 SKU、功耗配置和服务器设计核算；4090 可装入常规主机，实际供电与散热要求同样应以整机配置为准。此外 H100 PCIe 走 Gen5（128GB/s），比 4090 的 Gen4 高一倍，整机平台差异也计入实际表现。
五、怎么选，GPU算力租用怎么起步
选择逻辑可以简化为三条：跑 FP64 的 HPC，选 H100，倍数差距最大；跑大模型训练与高吞吐推理，显存与互联通常比理论峰值更早成为瓶颈，H100 优势明显；跑游戏、图形与 32GB 显存内够用的 AI 任务，消费级卡的性价比更高。 从租用视角看，任务若能在 32GB 显存内完成，按小时租用消费级卡通常是更轻的起步方式：立方云展示 RTX 5090 32GB 实例单卡按小时租用约 2.98 元/时（1 张卡/16 核 CPU/96GB 内存/30GB SSD），8 卡整机月付 13,200 元（8 张卡/64 核 CPU/512GB 内存/3.84TB×2 存储）；需要更大单卡显存可以看专业卡线 PRO 6000 96GB（单卡约 7.90 元/时）。H100 80G SXM5、H200 141GB、A100 80G SXM 等数据中心 8 卡整机可以通过在线咨询获取报价。以上型号、价格与库存为（2026-09-10）立方云公开首页口径，实际可用实例、计费方式与配置以控制台实时展示为准。
FAQ
Q1：一句话，H100 是 4090 的几倍？
没有单一答案：FP64 约 26 倍，FP16/BF16 与 FP8/INT8 稠密理论峰值约 3 倍，显存容量与带宽约 3.3 倍，卡间互联理论带宽量级约 14 倍；FP32 上 4090 反而更高（82.6 对 67 TFLOPS）。离开精度和任务谈倍数没有意义。
Q2：3 张 4090 能替代 1 张 H100 吗？
看任务。FP16 稠密理论峰值上 3 张 4090（3×330=990）与 1 张 H100 SXM（约 989）几乎相同；但 3×24GB 的聚合显存需要分片使用，30B 级 FP16 裸权重约 60GB，在 3 张 4090 上可通过分片尝试加载，但剩余显存很窄，只适合短上下文、低并发的验证性推理；是否能稳定服务仍须以框架启动日志和压测为准。小模型、精度宽松、单卡显存足够的任务用多张 4090 是合理选择；大模型训练与高扩展效率需求下 H100 优势明显。
Q3：打游戏、做渲染，H100 会更强吗？
不会。FP32 上 4090（82.6）高于 H100（67），且消费级有完整的游戏驱动、光追生态与创作工具链。H100 是计算卡，图形任务不是它的场景。
Q4：H100 的能力差价主要在哪？
在规格而非"倍数"：80GB HBM 大显存与 3.35TB/s 带宽、NVLink 多卡扩展、MIG 多实例、全速 FP64、Transformer Engine 与 HGX/DGX 数据中心整机生态。这些能力对消费级负载没有意义，对大模型与 HPC 则是刚需。
Q5：推理任务怎么在两者间选？
按模型规模与并发：模型 FP16 裸权重在 24GB 内、并发不高的场景，4090 级消费卡足够；更大模型（如 30B 级 FP16 裸权重约 60GB）、长上下文、高并发批量推理，H100 的大显存、高带宽与 FP8 加速能力收益更大。实际选型建议以目标模型的实测吞吐为准。