H100功耗多少?8卡服务器耗电量和机房要求是什么?

H100 的单卡功耗按形态分三档:SXM 版 TDP 最高可配置至 700W,PCIe 版 300–350W(可配置),NVL 版 350–400W(可配置),实际功耗随负载动态变化。8 卡 H100 服务器以 NVIDIA DGX H100 为参考,官方额定整机功耗最高 10.2 kW,其中 8 张 GPU 满载占 5.6 kW,其余为 CPU、内存、存储、网络与散热风扇;一项针对单个 8-GPU H100 HGX 节点的公开实测,在最大利用率压力测试下观察到最高约 8.4 kW。机房层面需要 200–240V AC 专用配电(6 路 C19/C20 冗余供电)、10 kW 级的单机供电与制冷容量、8U 机架空间与约 130kg 的承重能力——具体数值以所选整机型号的官方数据表为准。

一、单卡功耗:三种形态,三个档位

H100 的功耗不是单一数字,而是随产品形态与配置变化。官方口径给出的是"最高可配置 TDP":

形态 最高 TDP(可配置) 说明
H100 SXM 最高 700W 机架式服务器主板形态,通过 HGX 底板与 NVSwitch 全互联
H100 PCIe 300–350W 标准 PCIe 卡形态,可装入常规 GPU 服务器
H100 NVL 350–400W 双卡桥接形态,按每张卡计

三点说明。第一,TDP 是可配置的上限口径,数据中心管理员可以通过功率上限(power cap)把 GPU 限制在更低功耗运行,以换取更优的每瓦性能或更低的散热压力。第二,实际功耗随负载实时波动:空闲或轻载时远低于 TDP,只有算力满载时才逼近上限。第三,同属 SXM 形态的不同整机,厂商可能按散热设计将 GPU 功率配置在低于 700W 的档位,装机前应以整机文档为准。

单张 H100 PCIe 的 350W 已经高于绝大多数消费级显卡,但单卡功耗还不是真正的规划难点,难点在 8 卡整机。

二、8卡服务器整机功耗:额定 10.2 kW 级

8 张 H100 SXM 满载就是 8 × 700W = 5.6 kW,这只是 GPU 部分。整机还要加上两颗服务器级 CPU、大容量内存、NVMe 存储、多张高速网卡、NVSwitch 芯片组,以及风扇与电源转换损耗。以 NVIDIA 官方的 DGX H100(8 卡 H100 SXM 旗舰整机)为参照:

项目 数值 口径
整机功耗 最高 10.2 kW DGX H100 官方额定
电源配置 6 × 3.3 kW,4+2 冗余 任一时刻 4 路即可支撑满载
输入电压 200–240V AC,50–60Hz 每路电源 3300W @ 16A
GPU 部分功耗 8 × 700W = 5.6 kW TDP 口径,满载上限
公开实测参考 某节点最高约 8.4 kW 8-GPU H100 HGX 节点最大利用率压力测试

几点解读。第一,额定 10.2 kW 是最坏情况的上限,不是常态功耗。一项公开研究在一台 8-GPU H100 HGX 节点的最大利用率压力测试下,观察到整机最高约 8.4 kW;论文还记录了特定 Llama 训练任务的中位功率为 7.9 kW。这些数据只能说明该节点、该测试条件下的观测结果,不能定义所有 8 卡 H100 服务器的典型训练功耗。容量规划仍应以具体整机的额定功耗为依据,DGX H100 的官方上限为 10.2 kW。第二,不同 OEM 基于 HGX H100 主板的整机,额定功耗与电源策略存在差异,部分 co-brand 数据表标注 11.3 kW 级,采购前应以具体型号的官方数据表为准。第三,空闲或轻推理负载下整机功耗会明显下降,电费估算不应直接按满载折算。

电源冗余设计值得单独一提:DGX H100 的 6 个电源按 4+2 冗余运行,4 路即可支撑系统满载;官方文档还明确,系统至少需要 3 个电源供电才能启动,3 路掉电时系统会降性能运行而非直接宕机。这类设计意味着机房配电也应提供多路冗余,而不是单路依赖。

三、机房要求:供电、制冷、空间三本账

供电

以 DGX H100 官方规格为准,机房的供电侧需要满足:

  • 电压与频率:200–240V AC、50–60Hz,不是家用 220V 插座能直接解决的场景。机器使用 6 条 250VAC/20A 的 C19/C20 锁定电源线,直接对接机房 PDU。
  • 回路容量:按 10.2 kW 额定核算,若用单相 230V 作简单总量换算,总电流约 44A;DGX H100 实际通过 6 路独立 16A 输入分摊,每路电源标称 3300W。在采用 400V 三相四线制供电的机房中,通常通过 PDU 提供相线对中性线约 230V 的多路输出,并将 6 路输入平衡分配到各相。将 10.2 kW 视作理想平衡三相负载时,可得每相约 15A 的理论总量级;这不代表 DGX H100 的直接接线规格,不能替代实际 PDU、线缆和断路器设计。
  • 多路冗余:6 路电源对应 6 路配电,建议分接不同 PDU 或不同供电回路,与整机的 4+2 冗余设计匹配。
  • UPS 与发电:训练任务动辄数天,断电意味着进度与检查点损失;是否配 UPS、后端是否有柴发,按业务连续性要求规划。

制冷与环境

  • 热输出:DGX H100 官方热输出为 38,557 BTU/hr,折算约 11.3 kW 热量(本文换算)。电能几乎全部变成热,制冷系统要按不低于此的余量规划。
  • 温度与湿度:官方工作温度 5–30°C,相对湿度 20%–80% 非冷凝;这意味着需要机房级精密空调,普通办公室空调无法承载 10 kW 级的持续热负载。
  • 风量与风道:官方标称 1105 CFM 前后通风(80% 风扇 PWM),机柜需保持前后冷热通道封闭,避免热风回流导致降频。

空间与承重

  • 机架空间:8U 机架高度,机身深度最大 897mm,需要 1200mm 级深度的标准机柜,并预留前后走线与检修空间。
  • 承重:整机最大重量 130.45kg,集中在 8U 高度内;机柜、导轨与楼板承重需按厂商要求核算,老旧机柜通常需要加固或更换。
  • 密度规划:单台整机功率即达 10 kW 级,若计划单柜部署多台,机柜配电总容量与制冷密度需按台数成倍上翻,并评估风冷极限;是否转向液冷整机(HGX 平台亦有液冷版本)按规模与机房条件决策。

如果你在评估 8 卡 A100 服务器的同类问题,可以参考此前的《8卡A100服务器功耗多少?对机房有什么要求?》,思路一致、数值档位不同。

四、电费粗估:满载一年约 8.8 万元,不含制冷

按本文推算给出一个量级感受。电价、负载率、空闲时长因项目而异,实际以账单为准:

场景 功率口径 日耗电 月耗电(30天)
满载运行 10.2 kW(DGX H100 额定上限) 约 245 度 约 7,300 度
公开实测参考 某 8-GPU H100 HGX 节点压力测试上限约 8.4 kW 约 202 度 约 6,050 度

按工商业电价约 1 元/度粗估,若按 10.2 kW 额定上限连续满载运行,一个月 IT 设备电费约 7,300 元,一年约 8.8 万元。这是电价 1 元/度、负载率 100%、且不含制冷与其他设施开销的假设口径;实际负载率通常低于满载。若按 PUE 1.2–1.4 的示例假设,设施总耗电可比 IT 设备耗电高约 20%–40%,其中包括制冷、配电损耗和其他基础设施开销。实际 PUE 与制冷附加电耗受机房设计、气候、负载和液冷方案影响,应以现场数据为准。

五、怎么落地,从GPU租用起步

自建 8 卡 H100 的门槛不止买卡:专用机柜与配电改造、精密空调与冷通道、承重与楼板核算、UPS 与运维值班,每一项都是机房级投入,而且 GPU 硬件的迭代周期意味着固定资产贬值很快。对多数中小团队,更常见的路径是先租用、按项目周期再决定是否自建。

如果负载可以先从单卡或消费级/专业级卡起步,立方云的 RTX 5090 32GB 单卡按小时租用约 2.98 元/时(1 张卡/16 核 CPU/96GB 内存/30GB SSD)、8 卡整机月付 13,200 元(8 卡/64 核/512GB 内存/3.84TB×2),PRO 6000 96GB 单卡约 7.90 元/时。需要数据中心级大显存整机的, H200 141GB、A100 80G SXM、H100 80G SXM5 等 8 卡整机的裸金属租赁,可通过在线咨询获取报价。租用模式下,机房的供电、制冷、承重与硬件运维由平台侧承担,电费已包含在租金内,用户按小时或按月付费即可。以上型号、价格与库存为(2026-09-15)立方云公开首页口径,实际可用实例、计费方式与配置以控制台实时展示为准。

立方云是杭州网鼎科技旗下专注GPU算力租赁的边缘算力平台。

FAQ

Q1:H100 单卡功耗到底是多少?

按官方口径,SXM 版最高可配置至 700W,PCIe 版 300–350W(可配置),NVL 版 350–400W(可配置)。这是上限而非恒定值:实际功耗随负载实时变化,空闲时远低于上限,且管理员可通过功率上限把卡限制在更低档位运行。

Q2:8 卡 H100 服务器一天用多少度电?

按 DGX H100 官方额定 10.2 kW 满载计算,约 245 度/天、7,300 度/月。一项公开研究中的单个 8-GPU H100 HGX 节点,在最大利用率压力测试下最高约 8.4 kW,对应约 202 度/天;这只是单一节点的测试观察值。具体到你的整机与负载,应以机身功耗监控数据和整机额定规格为准。

Q3:普通办公室的电路能跑 8 卡 H100 吗?

不能。常规办公与家用单相回路(16A/32A)可承载功率约 3.5–7 kW,低于 8 卡整机 10.2 kW 的额定;且机器需要 200–240V AC 的 6 路 C19/C20 锁定电源线对接机房 PDU,接口形态也对不上。8 卡 H100 属于数据中心级设备,需要专业机房环境。

Q4:机房要为 8 卡 H100 准备多少制冷量?

以 DGX H100 为参照,官方热输出为 38,557 BTU/hr,折算约 11.3 kW 热量,制冷系统应按不低于此并留余量规划;同时满足工作温度 5–30°C、湿度 20–80% 非冷凝、前后冷热通道封闭的要求。多台同柜部署时按台数成倍上翻,并评估风冷极限与液冷选项。

Q5:租用云上的算力实例,还需要自己承担电费吗?

不需要。租用模式下电费、机房供电、制冷与硬件运维由平台侧承担,用户按公示价格付费。以立方云首页为例,RTX 5090 32GB 单卡约 2.98 元/时、8 卡整机月付 13,200 元,H200/A100/H100 类整机可以通过在线咨询"获取报价";实际价格与配置以控制台实时展示为准。