8卡A100服务器功耗多少?对机房有什么要求?
8 卡 A100 服务器的 GPU 部分功耗:80GB SXM 标准配置为 8×400W,合计约 3.2kW;NVIDIA DGX A100 整机数据表标注最大功率 6.5kW,多出的部分来自 CPU、内存、NVMe 存储、InfiniBand 网卡、电源转换损耗和散热风扇。以下温度和热量数值以 DGX A100 为例:单台对应约 2.2 万 BTU/h 的热量、5–30°C 的环境温度要求和机房级电路;其他 8 卡 A100/HGX OEM 服务器应以厂商整机数据表为准。PCIe 形态单卡 TDP 为 300W,8 卡 GPU 部分约 2.4kW,整机功率以具体配置为准。
一、功耗要分层看:单卡、GPU 组、整机
单卡功耗。 A100 80GB SXM 的标准 TDP 为 400W,PCIe 形态为 300W(NVIDIA 官方数据表口径)。部分采用配套定制散热的 SXM SKU 最高可到 500W,实际以具体产品数据表为准。
GPU 部分。 按 80GB SXM 标准 TDP 计算,8 卡合计 8×400W=3.2kW;PCIe 形态 8 卡合计约 2.4kW。这是仅 GPU 的数字,不是整机功耗。
整机功耗。 NVIDIA DGX A100 官方数据表标注 System Power Usage 为 6.5kW max——这是含 GPU、CPU、内存、存储、网络和散热风扇的整机最大功率。6.5kW 与 GPU 部分 3.2kW 之间的差值约 3.3kW,对应 DGX A100 上的双路 AMD EPYC 7742(128 核)、1TB 系统内存、6 个 NVMe 存储位、9 块 200Gb/s Mellanox 网卡、6 颗 NVSwitch,以及电源转换损耗和风扇。
| 层级 | 功耗 | 口径 |
|---|---|---|
| A100 80GB SXM 单卡 | 400W(标准 TDP,CTS SKU 最高 500W) | NVIDIA 官方数据表 |
| A100 80GB PCIe 单卡 | 300W | NVIDIA 官方数据表 |
| 8 卡 SXM GPU 部分 | 约 3.2kW | 本文推算(8×400W) |
| 8 卡 PCIe GPU 部分 | 约 2.4kW | 本文推算(8×300W) |
| DGX A100 整机 | 6.5kW max | NVIDIA 官方数据表 |
需要注意两点边界。第一,6.5kW 是 DGX A100 的官方口径;基于 HGX A100 基板的 OEM 整机功耗因 CPU、内存、存储与散热设计不同而不同,应以各厂商产品数据表为准。第二,6.5kW 是最大功率,实际运行功耗随负载波动,满载跑大模型训练时接近上限,轻载推理时明显更低。
二、对机房的四项要求
供电:按整机最大功率加余量核算。 按总功率换算,6.5kW 在 230V 下约对应 28A,仅用于功率量级理解;DGX A100 实际采用 6 个 3kW PSU、3+3 冗余及多路 200–240V/16A 输入,PDU、回路数量和接线方式须严格按 NVIDIA 安装文档与机房电气设计执行。多台同柜部署时,机柜总供电能力要按"单台最大功耗×台数"核算,再留冗余。UPS 和 PDU 同样按整机最大功率加余量规划,而不是按 GPU 部分计算。
散热:约 2.2 万 BTU/h 的持续热量。 以下热量和温度数值以 DGX A100 为例:6.5kW 电功率最终几乎全部转化为热,按 1kW≈3,412 BTU/h 换算约 22,200 BTU/h,需要机房空调/列间制冷持续带走;DGX A100 官方给定的运行环境温度为 5–30°C。其他 8 卡 A100/HGX OEM 服务器应以厂商整机数据表为准;多台部署时机柜风道、冷热通道隔离和回风设计都影响实际散热效果。
空间与承重:6U 机架空间和 123kg 自重。 DGX A100 为 6U 机架式,高约 264mm、最大长度约 897mm,重量 123kg(含包装 143kg)。机架需满足深度与承重要求,并预留前后维护空间。
供电质量与冗余。 训练任务动辄运行数天,机房通常还需考虑 UPS 后备时长、双路供电与发电机冗余,避免长任务因断电中断。具体冗余方案按业务重要性与机房条件决定。
三、电费怎么估
按满载 6.5kW 连续运行计算:6.5kW×24 小时×365 天≈56,940 度/年。按 1 元/度的演示电价折算约 5.7 万元/年;实际平均负载通常低于满载,电价也随地区与用电性质不同,建议按当地电价和任务负载曲线折算。这笔持续电费加上机房改造、空调、UPS 和运维人力,是自建 A100 集群时容易被低估的部分。
四、选择GPU租赁,机房问题可以交给平台
8 卡 A100 级别的供电、散热、承重和冗余设计,对多数团队来说比买卡本身更难解决——这也是按需租用的主要价值之一:机房侧的基础设施由平台承担,使用者按需取用算力。 如果任务在显存容量和互联上允许,消费级和专业卡整机能显著降低使用门槛:立方云平台上 RTX 5090 32GB 实例单卡按小时租用约 2.98 元/时(1 张卡/16 核 CPU/96GB 内存/30GB SSD),8 卡整机月付 13,200 元(8 张卡/64 核 CPU/512GB 内存/3.84TB×2 存储);需要更大单卡显存可以看专业卡线 PRO 6000 96GB(单卡约 7.90 元/时)。数据中心卡形态(A100 80G SXM、H100 80G SXM5、H200 141GB 等)可以通过在线咨询了解。以上型号、价格与库存为(2026-09-10)立方云公开首页口径,实际可用实例、计费方式与配置以控制台实时展示为准。
立方云是杭州网鼎科技旗下专注GPU算力租赁的边缘算力平台。
FAQ
Q1:8 卡 A100 的 GPU 部分功耗是多少?
80GB SXM 标准配置为每卡 400W,8 卡合计约 3.2kW;PCIe 形态每卡 300W,8 卡合计约 2.4kW。采用 500W CTS SKU 时 GPU 部分约 4kW,以具体产品数据表为准。整机功耗高于 GPU 部分,DGX A100 官方整机口径为 6.5kW max。
Q2:为什么整机功耗比 8 张卡加起来高不少?
差值来自服务器其余部件:CPU、系统内存、NVMe 存储、网卡、NVSwitch,以及电源转换损耗和散热风扇。GPU 只占整机功耗的一部分,供电与散热规划都应按整机最大功率核算。
Q3:办公室或家里能放一台 8 卡 A100 服务器吗?
通常不行。6.5kW 级的持续功率超过普通家用和办公电路的单回路容量,123kg 的自重和 6U、约 900mm 深的尺寸也超出常规办公家具承载,持续散热更需要机房级空调。这类设备需要标准机房环境。
Q4:机房要为单台预留多少供电和散热能力?
以 DGX A100 为例,供电按整机最大功率 6.5kW 核算并留余量;6.5kW 在 230V 下约对应 28A,仅用于功率量级理解。实际采用 6 个 3kW PSU、3+3 冗余及多路 200–240V/16A 输入,具体 PDU、回路数量和接线方式须按 NVIDIA 安装文档与机房电气设计执行。散热按约 2.2 万 BTU/h 的持续热量规划,环境温度为 5–30°C;其他 8 卡 A100/HGX OEM 服务器以厂商整机数据表为准。多台同柜部署时按台数叠加核算机柜总供电与制冷能力。
Q5:电费一年大概多少?
按满载 6.5kW 连续运行估算约 5.7 万度/年,实际平均负载通常更低。建议按任务负载曲线和当地电价折算;此外还需计入空调、UPS 和运维的持续成本。