训练吞吐优化：GPU 利用率上不去要先看懂 nvidia-smi

南屹川

229人浏览 · 2026-07-14 10:44:29

南屹川 · 2026-07-14 10:44:29 发布

训练吞吐优化：GPU 利用率上不去要先看懂 nvidia-smi

一、那块 GPU 明明在跑，利用率为什么只有 30%

最常见的困惑场景：nvidia-smi 显示 GPU-Util 只有 30%~40%，但训练任务确实在运行，显存也占满了。第一反应往往是"代码写得不好"或者"框架有问题"，但多数情况下，问题的根源在于对 GPU 利用率这个指标的理解存在偏差。

nvidia-smi 中的 GPU-Util 反映的是过去采样周期内 GPU 计算核心处于活跃状态的时间比例。它衡量的不是"GPU 有多忙"，而是"计算单元有多少时间在做事"。30% 的利用率可能意味着：GPU 在 70% 的时间里在等待——等待数据从 CPU 内存传输到 GPU 显存、等待 CPU 完成数据预处理、等待梯度同步完成。

显存占用高 ≠ GPU 计算饱和。一块 H800 的 80GB 显存被占满，不代表 SMs 在满负荷运转。显存占用反映的是模型参数量、优化器状态和中间激活的存储需求，而计算利用率反映的是数据供给和计算调度的效率。两者是完全不同的维度。

二、GPU 计算管线的瓶颈定位：数据搬运与计算的钟摆效应

flowchart LR
    subgraph CPU端
        A[磁盘读取数据] --> B[CPU 预处理]
        B --> C[CPU→GPU 传输]
    end
    
    subgraph GPU端
        C --> D[HBM 显存存储]
        D --> E[SM 计算核心]
        E --> F[梯度计算]
        F --> G[梯度同步 AllReduce]
        G --> H[优化器更新]
        H --> E
    end
    
    subgraph 瓶颈识别
        C -.->|PCIe 带宽瓶颈| I[传输速率 < GPU 计算速率]
        B -.->|CPU 瓶颈| J[预处理速度跟不上 GPU 消费]
        G -.->|通信瓶颈| K[多卡同步等待]
    end
    
    style I fill:#ff9800,color:#fff
    style J fill:#ff9800,color:#fff
    style K fill:#ff9800,color:#fff

GPU 训练的瓶颈分布在三个层面：

数据供给瓶颈：DataLoader 的预处理速度跟不上 GPU 的消费速度，GPU 在等待下一个 batch 时处于空闲；
通信瓶颈：多卡训练时 AllReduce 梯度同步占用了大量时间，且在同步期间计算核心空转；
计算瓶颈：模型计算量足够大，GPU 计算单元满负荷，这是理想状态。

定位瓶颈的方法：

GPU-Util 低 + CPU 利用率高 → 数据供给瓶颈，DataLoader 是瓶颈；
GPU-Util 低 + CPU 利用率低 + 多卡环境 → 通信瓶颈，检查 NCCL 配置和网络拓扑；
GPU-Util 高（>85%）→ 计算瓶颈，考虑模型优化或升级硬件。

三、用 PyTorch Profiler 替代裸眼看 nvidia-smi

nvidia-smi 给出的是粗粒度快照，而 PyTorch Profiler 能给出逐算子级别的耗时分解。

import torch
import torch.profiler as profiler
from torch.utils.data import DataLoader

# 设计原因：定义需要追踪的算子清单，过滤掉框架自身的极小开销
# schedule=wait(2)+warmup(2)+active(5)+repeat(1) 是标准配置：
# wait跳过前2步（初始化开销），warmup预热2步，active记录5步用于分析
activities = [
    profiler.ProfilerActivity.CPU,
    profiler.ProfilerActivity.CUDA,
]

with profiler.profile(
    activities=activities,
    schedule=profiler.schedule(wait=2, warmup=2, active=5, repeat=1),
    on_trace_ready=profiler.tensorboard_trace_handler('./log/profile'),
    record_shapes=True,          # 记录 Tensor shape，分析显存分布
    profile_memory=True,          # 记录显存分配，定位 OOM 风险
    with_stack=True,              # 记录调用栈，定位问题代码行
) as prof:
    for step, batch in enumerate(dataloader):
        if step >= (2 + 2 + 5):  # wait + warmup + active 的总步数
            break
        loss = train_step(model, batch)
        loss.backward()
        optimizer.step()
        optimizer.zero_grad()
        prof.step()

# 设计原因：输出关键指标，不需要每次都打开 TensorBoard
# self_cpu_time_total 是算子自身的耗时，不含子调用
print(prof.key_averages().table(
    sort_by="self_cuda_time_total",  # 按 GPU 耗时排序
    row_limit=15                      # 只关注前15个最耗时的算子
))

Profiler 分析的关键指标：

cudaMemcpyAsync 占比：如果超过 20%，说明数据搬运是主要瓶颈；
AllReduce 占比：如果超过 15%，考虑梯度累积减少同步频率；
aten::mean/aten::sum：如果占比意外地高，可能存在不必要的 reduction 操作。

四、优化的成本约束：不是所有瓶颈都值得消除

优化的 Trade-off 需要冷静评估。

DataLoader 并行度提升：增加 num_workers 从 4 到 16，确实能提升 GPU 利用率。但代价是 CPU 内存占用增加（每个 worker 独立加载数据）、进程间通信开销增加、共享内存可能成为新瓶颈。num_workers 超过 CPU 核心数后，上下文切换开销反而导致吞吐下降。

混合精度训练（AMP）：FP16/BF16 能显著提升计算吞吐（理论上 2x），但需要处理梯度下溢问题。GradScaler 的动态缩放机制引入了额外开销，且不是所有算子都支持混合精度。某些归一化层在 FP16 下会出现数值不稳定，需要手动回退到 FP32。

梯度累积：通过累积多个 micro-batch 的梯度再同步，等效增大 batch size 而不增加显存。但累积步数过多会导致：BN 层统计量不准（小 batch 的均值和方差估计偏差大）、收敛速度减慢（等效学习率需要重新调整）。

通信与计算重叠：理想情况下梯度同步和下一层的计算可以并行。但实现重叠需要精确的 bucket 划分和异步通信调度，代码复杂度增加明显，且在某些拓扑下重叠效果有限。

五、总结

GPU 利用率低的首要排查步骤是区分数据供给瓶颈、通信瓶颈和计算瓶颈。nvidia-smi 的 GPU-Util 指标反映的是计算核心活跃度而非显存使用效率。PyTorch Profiler 提供算子级耗时分解，cudaMemcpyAsync 和 AllReduce 的占比是定位瓶颈的关键指标。优化的优先级应从数据供给开始（num_workers、数据预处理 cache、内存映射），再考虑通信优化（梯度累积、混合精度），最后考虑计算优化（算子融合、kernel 调优）。每项优化都有对应的代价，需要在吞吐提升幅度和实现复杂度之间权衡。