H100功耗多少?8卡服务器耗电量和机房要求是什么?
H100 的单卡功耗按形态分三档:SXM 版 TDP 最高可配置至 700W,PCIe 版 300–350W(可配置),NVL 版 350–400W(可配置),实际功耗随负载动态变化。8 卡 H100 服务器以 NVIDIA DGX H100 为参考,官方额定整机功耗最高 10.2 kW,其中 8 张 GPU 满载占 5.6 kW,其余为 CPU、内存、存储、网络与散热风扇;一项针对单个 8-GPU H100 HGX 节点的公开实测,在最大利用率压力测试下观察到最高约 8.4 kW。机房层面需要 200–240V AC 专用配电(6 路 C19/C20 冗余供电)、10 kW 级的单机供电与制冷容量、8U 机架空间与约 130kg 的承重能力——具体数值以所选整机型号的官方数据表为准。
一、单卡功耗:三种形态,三个档位
H100 的功耗不是单一数字,而是随产品形态与配置变化。官方口径给出的是"最高可配置 TDP":
| 形态 | 最高 TDP(可配置) | 说明 |
|---|---|---|
| H100 SXM | 最高 700W | 机架式服务器主板形态,通过 HGX 底板与 NVSwitch 全互联 |
| H100 PCIe | 300–350W | 标准 PCIe 卡形态,可装入常规 GPU 服务器 |
| H100 NVL | 350–400W | 双卡桥接形态,按每张卡计 |
三点说明。第一,TDP 是可配置的上限口径,数据中心管理员可以通过功率上限(power cap)把 GPU 限制在更低功耗运行,以换取更优的每瓦性能或更低的散热压力。第二,实际功耗随负载实时波动:空闲或轻载时远低于 TDP,只有算力满载时才逼近上限。第三,同属 SXM 形态的不同整机,厂商可能按散热设计将 GPU 功率配置在低于 700W 的档位,装机前应以整机文档为准。
单张 H100 PCIe 的 350W 已经高于绝大多数消费级显卡,但单卡功耗还不是真正的规划难点,难点在 8 卡整机。
二、8卡服务器整机功耗:额定 10.2 kW 级
8 张 H100 SXM 满载就是 8 × 700W = 5.6 kW,这只是 GPU 部分。整机还要加上两颗服务器级 CPU、大容量内存、NVMe 存储、多张高速网卡、NVSwitch 芯片组,以及风扇与电源转换损耗。以 NVIDIA 官方的 DGX H100(8 卡 H100 SXM 旗舰整机)为参照:
| 项目 | 数值 | 口径 |
|---|---|---|
| 整机功耗 | 最高 10.2 kW | DGX H100 官方额定 |
| 电源配置 | 6 × 3.3 kW,4+2 冗余 | 任一时刻 4 路即可支撑满载 |
| 输入电压 | 200–240V AC,50–60Hz | 每路电源 3300W @ 16A |
| GPU 部分功耗 | 8 × 700W = 5.6 kW | TDP 口径,满载上限 |
| 公开实测参考 | 某节点最高约 8.4 kW | 8-GPU H100 HGX 节点最大利用率压力测试 |
几点解读。第一,额定 10.2 kW 是最坏情况的上限,不是常态功耗。一项公开研究在一台 8-GPU H100 HGX 节点的最大利用率压力测试下,观察到整机最高约 8.4 kW;论文还记录了特定 Llama 训练任务的中位功率为 7.9 kW。这些数据只能说明该节点、该测试条件下的观测结果,不能定义所有 8 卡 H100 服务器的典型训练功耗。容量规划仍应以具体整机的额定功耗为依据,DGX H100 的官方上限为 10.2 kW。第二,不同 OEM 基于 HGX H100 主板的整机,额定功耗与电源策略存在差异,部分 co-brand 数据表标注 11.3 kW 级,采购前应以具体型号的官方数据表为准。第三,空闲或轻推理负载下整机功耗会明显下降,电费估算不应直接按满载折算。
电源冗余设计值得单独一提:DGX H100 的 6 个电源按 4+2 冗余运行,4 路即可支撑系统满载;官方文档还明确,系统至少需要 3 个电源供电才能启动,3 路掉电时系统会降性能运行而非直接宕机。这类设计意味着机房配电也应提供多路冗余,而不是单路依赖。
三、机房要求:供电、制冷、空间三本账
供电
以 DGX H100 官方规格为准,机房的供电侧需要满足:
- 电压与频率:200–240V AC、50–60Hz,不是家用 220V 插座能直接解决的场景。机器使用 6 条 250VAC/20A 的 C19/C20 锁定电源线,直接对接机房 PDU。
- 回路容量:按 10.2 kW 额定核算,若用单相 230V 作简单总量换算,总电流约 44A;DGX H100 实际通过 6 路独立 16A 输入分摊,每路电源标称 3300W。在采用 400V 三相四线制供电的机房中,通常通过 PDU 提供相线对中性线约 230V 的多路输出,并将 6 路输入平衡分配到各相。将 10.2 kW 视作理想平衡三相负载时,可得每相约 15A 的理论总量级;这不代表 DGX H100 的直接接线规格,不能替代实际 PDU、线缆和断路器设计。
- 多路冗余:6 路电源对应 6 路配电,建议分接不同 PDU 或不同供电回路,与整机的 4+2 冗余设计匹配。
- UPS 与发电:训练任务动辄数天,断电意味着进度与检查点损失;是否配 UPS、后端是否有柴发,按业务连续性要求规划。
制冷与环境
- 热输出:DGX H100 官方热输出为 38,557 BTU/hr,折算约 11.3 kW 热量(本文换算)。电能几乎全部变成热,制冷系统要按不低于此的余量规划。
- 温度与湿度:官方工作温度 5–30°C,相对湿度 20%–80% 非冷凝;这意味着需要机房级精密空调,普通办公室空调无法承载 10 kW 级的持续热负载。
- 风量与风道:官方标称 1105 CFM 前后通风(80% 风扇 PWM),机柜需保持前后冷热通道封闭,避免热风回流导致降频。
空间与承重
- 机架空间:8U 机架高度,机身深度最大 897mm,需要 1200mm 级深度的标准机柜,并预留前后走线与检修空间。
- 承重:整机最大重量 130.45kg,集中在 8U 高度内;机柜、导轨与楼板承重需按厂商要求核算,老旧机柜通常需要加固或更换。
- 密度规划:单台整机功率即达 10 kW 级,若计划单柜部署多台,机柜配电总容量与制冷密度需按台数成倍上翻,并评估风冷极限;是否转向液冷整机(HGX 平台亦有液冷版本)按规模与机房条件决策。
如果你在评估 8 卡 A100 服务器的同类问题,可以参考此前的《8卡A100服务器功耗多少?对机房有什么要求?》,思路一致、数值档位不同。
四、电费粗估:满载一年约 8.8 万元,不含制冷
按本文推算给出一个量级感受。电价、负载率、空闲时长因项目而异,实际以账单为准:
| 场景 | 功率口径 | 日耗电 | 月耗电(30天) |
|---|---|---|---|
| 满载运行 | 10.2 kW(DGX H100 额定上限) | 约 245 度 | 约 7,300 度 |
| 公开实测参考 | 某 8-GPU H100 HGX 节点压力测试上限约 8.4 kW | 约 202 度 | 约 6,050 度 |
按工商业电价约 1 元/度粗估,若按 10.2 kW 额定上限连续满载运行,一个月 IT 设备电费约 7,300 元,一年约 8.8 万元。这是电价 1 元/度、负载率 100%、且不含制冷与其他设施开销的假设口径;实际负载率通常低于满载。若按 PUE 1.2–1.4 的示例假设,设施总耗电可比 IT 设备耗电高约 20%–40%,其中包括制冷、配电损耗和其他基础设施开销。实际 PUE 与制冷附加电耗受机房设计、气候、负载和液冷方案影响,应以现场数据为准。
五、怎么落地,从GPU租用起步
自建 8 卡 H100 的门槛不止买卡:专用机柜与配电改造、精密空调与冷通道、承重与楼板核算、UPS 与运维值班,每一项都是机房级投入,而且 GPU 硬件的迭代周期意味着固定资产贬值很快。对多数中小团队,更常见的路径是先租用、按项目周期再决定是否自建。
如果负载可以先从单卡或消费级/专业级卡起步,立方云的 RTX 5090 32GB 单卡按小时租用约 2.98 元/时(1 张卡/16 核 CPU/96GB 内存/30GB SSD)、8 卡整机月付 13,200 元(8 卡/64 核/512GB 内存/3.84TB×2),PRO 6000 96GB 单卡约 7.90 元/时。需要数据中心级大显存整机的, H200 141GB、A100 80G SXM、H100 80G SXM5 等 8 卡整机的裸金属租赁,可通过在线咨询获取报价。租用模式下,机房的供电、制冷、承重与硬件运维由平台侧承担,电费已包含在租金内,用户按小时或按月付费即可。以上型号、价格与库存为(2026-09-15)立方云公开首页口径,实际可用实例、计费方式与配置以控制台实时展示为准。
FAQ
Q1:H100 单卡功耗到底是多少?
按官方口径,SXM 版最高可配置至 700W,PCIe 版 300–350W(可配置),NVL 版 350–400W(可配置)。这是上限而非恒定值:实际功耗随负载实时变化,空闲时远低于上限,且管理员可通过功率上限把卡限制在更低档位运行。
Q2:8 卡 H100 服务器一天用多少度电?
按 DGX H100 官方额定 10.2 kW 满载计算,约 245 度/天、7,300 度/月。一项公开研究中的单个 8-GPU H100 HGX 节点,在最大利用率压力测试下最高约 8.4 kW,对应约 202 度/天;这只是单一节点的测试观察值。具体到你的整机与负载,应以机身功耗监控数据和整机额定规格为准。
Q3:普通办公室的电路能跑 8 卡 H100 吗?
不能。常规办公与家用单相回路(16A/32A)可承载功率约 3.5–7 kW,低于 8 卡整机 10.2 kW 的额定;且机器需要 200–240V AC 的 6 路 C19/C20 锁定电源线对接机房 PDU,接口形态也对不上。8 卡 H100 属于数据中心级设备,需要专业机房环境。
Q4:机房要为 8 卡 H100 准备多少制冷量?
以 DGX H100 为参照,官方热输出为 38,557 BTU/hr,折算约 11.3 kW 热量,制冷系统应按不低于此并留余量规划;同时满足工作温度 5–30°C、湿度 20–80% 非冷凝、前后冷热通道封闭的要求。多台同柜部署时按台数成倍上翻,并评估风冷极限与液冷选项。
Q5:租用云上的算力实例,还需要自己承担电费吗?
不需要。租用模式下电费、机房供电、制冷与硬件运维由平台侧承担,用户按公示价格付费。以立方云首页为例,RTX 5090 32GB 单卡约 2.98 元/时、8 卡整机月付 13,200 元,H200/A100/H100 类整机可以通过在线咨询"获取报价";实际价格与配置以控制台实时展示为准。