云生信学生物信息学

检查scvi-tools、PyTorch与CUDA并跑通训练样例

作者:发布于 2026-11-16更新于 2026-11-15约 8 分钟阅读
scVI怎样确认正在使用GPU

scVI怎样确认正在使用GPU:记录Python与设备信息;用模拟计数跑通一轮训练;检查latent与模型保存;换真实counts后另验模型
本文操作与检查路径示意。

scVI使用GPU,需要同时确认三件事:Python环境中的PyTorch支持当前设备,训练入口确实选择GPU,输入是模型需要的计数数据。只看到 nvidia-smi 输出,不足以证明训练已经使用显卡。下面先跑一个有明确验收标准的小样例,再替换为自己的单细胞数据。

先记录环境与设备,不急着读入大文件

在已经安装兼容scvi-tools、PyTorch、NumPy和AnnData的独立环境中运行。安装方式按官方指南和平台驱动条件选择;先保存下面输出。设备0指当前进程可见列表中的第一个设备,不是让你绕过平台分配去占用物理0号卡。

import sys
import torch
import scvi
print("python", sys.version)
print("torch", torch.__version__)
print("scvi-tools", scvi.__version__)
print("cuda_available", torch.cuda.is_available())
print("visible_devices", torch.cuda.device_count())
if torch.cuda.is_available():
    print("device", torch.cuda.get_device_name(0))
检查结果 先做什么
系统看到GPU,torch返回False 核对当前解释器、PyTorch构建、容器设备可见范围和驱动兼容
import scvi失败 确认运行的是安装了依赖的同一环境,按错误定位缺包或版本冲突
训练出现CUDA显存不足 记录实际步骤和batch大小,先用小输入定位,再判断显存缺口
CUDA正常但读文件时被Killed 同时检查主机内存与作业配额,不要只盯显存

用模拟计数验通训练、推理和保存

将下例保存为 smoke_scvi.py。它创建500个模拟细胞和100个特征,只训练1个epoch,用于检查软件链,不代表真实实验或模型已经收敛。生产分析前应锁定已验证的版本;若安装版API与这里不同,先查看该版本的train帮助。

from pathlib import Path
import anndata as ad
import numpy as np
import scvi
import torch

target = Path("outputs/scvi-smoke")
if target.exists():
    raise FileExistsError("请使用新的输出目录")
if not torch.cuda.is_available():
    raise RuntimeError("先核对GPU可见性与PyTorch环境")
target.parent.mkdir(exist_ok=True)
scvi.settings.seed = 7
rng = np.random.default_rng(7)
adata = ad.AnnData(rng.poisson(1.0, size=(500, 100)).astype("float32"))
adata.obs["batch"] = np.repeat(["A", "B"], 250)
scvi.model.SCVI.setup_anndata(adata, batch_key="batch")
model = scvi.model.SCVI(adata)
model.train(max_epochs=1, batch_size=64,
            accelerator="gpu", devices=[0], enable_progress_bar=False)
z = model.get_latent_representation()
assert z.shape[0] == adata.n_obs and np.isfinite(z).all()
model.save(str(target), overwrite=False, save_anndata=False)
np.save(target.parent / "scvi-smoke-latent.npy", z)
adata.obs_names.to_series().to_csv(
    target.parent / "scvi-smoke-cells.txt", index=False, header=False)
print("latent shape", z.shape)

执行 python smoke_scvi.py,保留终端训练日志。合格条件是日志确认使用获配GPU、程序正常结束、latent有500行且数值有限、模型目录和细胞顺序文件存在。这个小例子不能用来比较服务器速度,也不能证明全量数据能装入内存。

换真实数据时,先核对counts来源

SCVI通常需要未做文库大小归一化和log转换的计数。不能把标准化后的X直接改名为counts;校正后的非整数数据是否适用,也应依据该模型与校正方法判断。检查原始计数所在layer、细胞与基因标识,以及batch列是否对应真正的技术批次。

若计数已正确存入 adata.layers["counts"],将注册步骤改为 SCVI.setup_anndata(adata, layer="counts", batch_key="batch");不要为方便又复制一次大型矩阵。没有批次列时不要编造生物分组来充当技术批次,应按实际设计选择注册方式。

保存之后再做一次读回检查

本例的 save_anndata=False 不会把输入AnnData一起保存。下面代码紧接上例运行,使用仍在内存中的同一对象读回模型,在CPU上验证基本推理。若在新会话恢复,先提供结构、基因顺序和注册字段一致的输入;不能随意换成另一份标准化矩阵。

restored = scvi.model.SCVI.load(str(target), adata=adata,
                                 accelerator="cpu", device="auto")
z2 = restored.get_latent_representation()
assert z2.shape == z.shape and np.isfinite(z2).all()
print("reload check passed", z2.shape)

生产项目还应保存输入校验值、基因和细胞顺序、环境清单及训练日志。普通模型save不包含训练器优化器状态和训练历史,模型目录也不等于能从任意中断点继续训练的完整检查点。读回成功证明文件可用于这次推理,不证明新旧环境数值逐位一致。

把环境验收与模型验收分开

环境验收后,再确定质控、特征选择、训练长度和验证方法。训练结束不等于整合效果正确,应检查训练记录、细胞对应关系及已知生物信号。若失败,保留完整错误、版本、输入维度、batch大小和设备信息:读入失败查主机内存,CUDA错误查显存,依赖错误查环境,分别处理。

需要额外算力时

适用前提:流程明确支持GPU且样例验证通过。如需额外资源,可评估兼容GPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

先确定合适的计算资源

根据数据规模和分析任务,快速测算 CPU、内存、存储与 GPU 配置。

测算服务器配置仍有疑问,联系客服 ↗