A100的算力是多少？FP16、FP32、INT8分别怎么看？
A100 的算力因精度不同差异很大——FP32 为 19.5 TFLOPS（CUDA 核心），FP16 Tensor Core 为 312/624* TFLOPS，INT8 Tensor Core 为 624/1,248* TOPS；看 A100 算力的关键是区分 CUDA 核心性能和 Tensor Core 性能，并理解稀疏模式对峰值的影响。
一、A100算力概览
A100是 NVIDIA 2020 年发布的 Ampere 架构数据中心 GPU，基于 GA100 芯片，搭载 6,912 个 CUDA 核心和 432 个第三代 Tensor Core。A100 的算力不是一个单一数字，而是按精度格式分为两大类：
- CUDA 核心算力：负责通用计算，对应 FP32 和 FP64 精度
- Tensor Core 算力：负责矩阵乘加运算（GEMM），对应 FP16、BF16、TF32、INT8、INT4 等精度
这两类算力的数值差距很大：FP16 Tensor Core 的非稀疏峰值是 FP32 CUDA 核心的 16 倍，因为 Tensor Core 是专门为矩阵运算设计的硬件单元，而 CUDA 核心处理的是通用计算逻辑。这是理论峰值倍数，实际加速比取决于任务中矩阵运算的占比。理解这一区别，是看懂 A100 算力数据的前提。
二、各精度算力数据
以下数据来自 NVIDIA A100 官方数据表，适用于 A100 40GB 和 80GB 版本（两者核心级理论计算规格相同）。
| 精度格式 | 计算单元 | 非稀疏 | 稀疏* | 单位 |
|---|---|---|---|---|
| FP64 | CUDA 核心 | 9.7 | — | TFLOPS |
| FP64 | Tensor Core | 19.5 | — | TFLOPS |
| FP32 | CUDA 核心 | 19.5 | — | TFLOPS |
| TF32 | Tensor Core | 156 | 312* | TFLOPS |
| BF16 | Tensor Core | 312 | 624* | TFLOPS |
| FP16 | Tensor Core | 312 | 624* | TFLOPS |
| INT8 | Tensor Core | 624 | 1,248* | TOPS |
| INT4 | Tensor Core | 1,248 | 2,496* | TOPS |
*稀疏模式下的峰值性能，开启 2:1 结构化稀疏后可达非稀疏的 2 倍。实际能否获得稀疏加速，取决于模型和软件栈。
注意 INT8 和 INT4 使用 TOPS 而非 TFLOPS：TFLOPS 衡量浮点运算，TOPS 衡量整数运算。Tensor Core 在执行 INT8/INT4 时是整数乘加运算，因此用 TOPS。
三、FP32、FP16、INT8分别怎么看
FP32（19.5 TFLOPS）——通用计算基准。FP32 是 CUDA 核心提供的单精度浮点性能，适用于非 AI 工作负载（如科学计算中的非矩阵部分、数据预处理、通用并行计算）。FP32 不经过 Tensor Core，是 A100 最基础的算力指标。如果任务以通用计算为主，FP32 是主要参考数据。
FP16 Tensor Core（312/624* TFLOPS）——AI 训练和推理的主力。FP16 是半精度浮点，通过 Tensor Core 执行矩阵乘加运算。相比 FP32，FP16 Tensor Core 的非稀疏算力是 FP32 的 16 倍，稀疏模式下可达 32 倍。深度学习训练中的混合精度训练通常使用 FP16 计算 + FP32 累加，兼顾速度和数值稳定性。A100 的第三代 Tensor Core 还支持 BF16 和 TF32——BF16 拥有与 FP32 相同的指数位，数值范围优于 FP16；TF32 是 Ampere 架构新增的 Tensor Core 格式，在保持 FP32 输入接口的前提下，通常可显著加速矩阵计算；实际效果取决于算子类型、框架和任务。
INT8 Tensor Core（624/1,248* TOPS）——推理加速的利器。INT8 是 8 位整数精度，通过 Tensor Core 执行整数矩阵运算。从 NVIDIA 官方峰值口径看，A100 的 INT8 Tensor Core 峰值数值高于 FP16 Tensor Core；但由于 TOPS 与 TFLOPS 衡量的是不同类型运算，不能简单按数值比例理解实际性能差距。INT8 主要用于推理场景的模型量化——将训练好的 FP16/FP32 模型压缩为 INT8 精度，在精度损失可控的前提下提升吞吐。A100 还支持更激进的 INT4（1,248/2,496* TOPS），适用于对精度要求不高的推理任务。
四、不同精度怎么选
训练场景：推荐使用 BF16 或 TF32。BF16 在 PyTorch 中已原生支持，数值范围优于 FP16，训练稳定性更好；TF32 是 Ampere 平台在支持的框架与算子上常用的默认矩阵计算加速模式，可在无需大改代码的情况下加速部分 FP32 训练。FP16 混合精度训练仍然可用，但在某些模型上可能遇到数值溢出问题。FP32 仅在需要高精度梯度的场景（如部分科学计算）中使用。
推理场景：若模型和框架对 INT8 支持良好，INT8 量化通常值得优先评估，因为它常能带来更高吞吐；但实际表现仍取决于模型、软件栈和压测结果。如果精度损失不可接受，退回 FP16 或 BF16。FP32 推理通常只在框架不支持低精度或模型精度要求极高时使用。INT4 适用于对延迟要求高、精度要求宽松的场景。
科学计算场景：FP64 是必需。A100 的 FP64 性能为 9.7 TFLOPS（CUDA 核心）或 19.5 TFLOPS（Tensor Core），适用于计算流体力学、分子动力学、油藏模拟等双精度计算密集型任务。
选择精度时的关键原则：在精度满足任务要求的前提下，优先选择低精度以获得更高吞吐。从保守到激进的参考排序为：FP64 > FP32 > TF32 > BF16 ≈ FP16 > INT8 > INT4。注意 TF32 和 BF16 的数值范围与 FP32 相同，但有效位数低于 FP32；实际选择应以任务对数值范围和精度的要求为准。
五、在立方云上怎么选
立方云提供 A100 80GB SXM 8 卡整机（按月计费），适合大规模训练和高吞吐推理。8 卡 A100 80GB SXM 通常通过 NVLink/NVSwitch 实现高速互联（单 GPU 双向 600 GB/s），支持多卡分布式训练。具体价格和可用库存以控制台展示为准。
本文首发于立方云技术博客。立方云是网鼎科技旗下专注 GPU 算力租赁的边缘算力服务平台，提供裸金属与容器实例服务。如需了解当前可用 A100 规格与计费方式，可前往 lifangyun.com 查看。
六、常见问题
1. A100的FP32和FP16算力差多少？
FP32 CUDA 核心为 19.5 TFLOPS，FP16 Tensor Core 非稀疏为 312 TFLOPS，稀疏为 624 TFLOPS。非稀疏差距约 16 倍，稀疏约 32 倍。差距来自 Tensor Core 是专门的矩阵运算单元，而 FP32 由通用 CUDA 核心执行，两者适用的任务类型不同。这只是理论峰值口径，不代表实际任务会按该倍数加速。
2. INT8的TOPS和TFLOPS有什么区别？
TFLOPS（Tera Floating-Point Operations Per Second）衡量浮点运算，TOPS（Tera Operations Per Second）衡量整数运算。INT8 是整数精度，所以用 TOPS；FP16 和 FP32 是浮点精度，所以用 TFLOPS。两者衡量的是不同类型的运算，不能直接按数值大小比较。
3. 什么是稀疏模式？
A100 支持 2:1 结构化稀疏（2:4 模式）：每 4 个元素中至少 2 个为零。当模型的权重矩阵满足这一稀疏模式时，Tensor Core 可以跳过零元素，将有效吞吐提升至非稀疏的 2 倍。实际能否获得稀疏加速，取决于模型结构和软件栈是否支持。
4. A100训练用什么精度？
推荐 BF16 或 TF32。BF16 在 PyTorch 中原生支持，数值稳定性好；TF32 是 Ampere 平台在支持的框架与算子上常用的默认矩阵计算加速模式，无需大改代码即可加速部分 FP32 训练。FP16 混合精度也可用，但部分模型可能遇到数值溢出。
5. A100推理用什么精度？
若模型和框架对 INT8 支持良好，INT8 量化通常值得优先评估，常能带来更高吞吐；但实际表现仍取决于模型、软件栈和压测结果。精度不达标时退回 FP16 或 BF16。FP32 推理通常仅在框架不支持低精度或精度要求极高时使用。