项目背景
某三甲医院放射科，使用 3D U-Net 进行 肝脏 CT 三维分割。训练数据集包含 500 例增强 CT（每例约 200 张切片，体素大小 512×512×200）。
瓶颈：GPU 显存不足
团队原有配置：32 核 / 128GB 内存 / T4 16GB GPU。遇到的问题：
- 3D U-Net 显存溢出：3D 卷积的显存消耗远大于 2D，batch size=1 时 T4 16GB 已经接近上限
- 训练速度极慢：500 例 × 200 切片的 3D 数据集，T4 上训练 200 epoch 需要 约 2 周
- 无法使用大 batch size：batch size=1 导致 BatchNorm 不稳定，训练收敛困难
升级方案
升级到 A100 40GB GPU + 64 核 / 256GB 内存 / 4TB NVMe：
| 对比项 | T4 16GB | A100 40GB |
|---|---|---|
| 3D U-Net batch size | 1（勉强） | 4-8 |
| 每 epoch 耗时 | ~100 分钟 | ~15 分钟 |
| 200 epoch 总耗时 | ~2 周 | ~2 天 |
| 显存利用率 | >95%（危险） | ~60%（安全） |
| 混合精度（AMP） | 支持但效果有限 | 原生支持，加速 1.5x |
训练优化
- 使用 PyTorch AMP（混合精度）：A100 的 Tensor Core 原生支持 FP16，显存减半速度翻倍
- batch size 提升到 4：BatchNorm 统计更稳定，训练收敛更快
- 数据加载优化：num_workers=8 + pin_memory=True，CPU 不再等 GPU
最终效果
训练 200 epoch 后，Dice 系数达到 0.92（肝脏分割）。从数据准备到模型训练完成，整个流程在 3 天内完成。T4 配置下同样的流程需要 2-3 周。
建议
对于 3D 医学影像分析（CT/MRI 分割），A100 40GB 是推荐起步配置。如果做更大模型（如 3D TransUNet、Swin-UNETR），建议 A100 80GB 或多卡。