
scGPT需要多大GPU,先看任务是读取预训练模型生成细胞嵌入,还是更新模型参数。推理不维护训练优化器状态;微调还涉及梯度、优化器和训练目标,显存不能直接套用推理结果。本篇以官方embed_data接口跑少量细胞的嵌入推理,不把它称为已完成微调。
先准备匹配的模型和数据
使用来源可信且适合本任务的同一模型包,目录内应有args.json、vocab.json与best_model.pt。不能把另一模型的配置与权重混用。记录scGPT源码修订、PyTorch、torchtext、CUDA与设备;这些依赖存在版本兼容关系,不按“都装最新版”作为环境验证。
| 任务 | 输入与主要开销 | 验收目标 |
|---|---|---|
| 嵌入推理 | 词表、模型、细胞表达与batch | 细胞对应、有限嵌入、下游适用性 |
| 任务微调 | 同类材料及目标/标签/训练拆分 | 训练、验证与独立评价,非推理成绩 |
| 预处理 | 基因ID映射及与模型匹配的表达协议 | 不重复归一化,不用错误物种硬匹配 |
| 资源 | 主机RAM、显存、CPU与工作盘 | 分别测量,不能只看权重文件大小 |
用32个细胞验证完整入口
下例限定已质控的RNA计数AnnData:X是非负原始计数,feature_name为与所选模型词表匹配的基因符号,细胞与基因标识唯一。先按自己的模型说明确认该入口;Ensembl ID不能只改列名冒充gene symbol。取前32个细胞仅验证兼容,不代表正式数据分布。
from pathlib import Path
import numpy as np, scanpy as sc, torch
from scipy import sparse
from scgpt.tasks.cell_emb import embed_data
from scgpt.tokenizer import GeneVocab
model=Path("/models/scGPT-verified")
assert all((model/f).is_file() for f in ("args.json","vocab.json","best_model.pt"))
adata=sc.read_h5ad("model-ready-counts.h5ad")
assert adata.n_obs>0 and adata.obs_names.is_unique and adata.var_names.is_unique
assert "feature_name" in adata.var and adata.var["feature_name"].notna().all()
genes=adata.var["feature_name"].astype(str)
assert genes.is_unique
values=adata.X.data if sparse.issparse(adata.X) else np.asarray(adata.X)
assert np.isfinite(values).all() and (values>=0).all() and (values==np.floor(values)).all()
vocab=GeneVocab.from_file(model/"vocab.json")
matched=sum(g in vocab for g in genes)
assert matched>0, "词表没有匹配,先修基因标识"
print("词表匹配基因",matched,"输入基因",adata.n_vars)
pilot=adata[:min(32,adata.n_obs)].copy()
assert torch.cuda.is_available(), "本例要求GPU,不能静默回落CPU"
assert not Path("scgpt-probe-001.h5ad").exists()
out=embed_data(pilot,model,gene_col="feature_name",batch_size=16,max_length=1200,
device="cuda",use_fast_transformer=False,return_new_adata=False)
embedding=out.obsm["X_scGPT"]
assert out.obs_names.equals(pilot.obs_names) and np.isfinite(embedding).all()
assert embedding.shape[0]==pilot.n_obs
out.write_h5ad("scgpt-probe-001.h5ad")
示例关闭fast transformer以固定一个不依赖该加速后端的入口,不能据此宣称所有模型环境都已兼容。max_length=1200和batch=16是演示协议;改变序列长度会改变保留的基因信息,不应只为了显存而随意缩短后仍当同一推理任务。
这个入口读取X,不会自动替你选layers中的counts或raw。若原对象的X已经是带负值的缩放矩阵、整合结果或另一种表达表示,应按模型协议另存输入副本,保留原文件和转换记录;不能只把数据集名称改成counts就当验证通过。
分别检查输入匹配与输出含义
embed_data会按词表筛基因并把嵌入放在X_scGPT。检查匹配比例、筛后基因范围、细胞顺序、嵌入形状和有限值;只有少量基因匹配时,即使程序结束也应先核对物种与ID。嵌入并不自动提供可靠细胞注释或因果结论,需要独立的下游评价。
当前核对源码的get_batch_cell_embeddings会把选中输入X整体转成稠密数组,降低GPU batch不能解决这部分主机RAM。大量细胞应先估算并验证该入口的主机工作集,不能因为原h5ad是稀疏存储就假定模型全程磁盘流式读取。
按失败阶段处理
导入报错先核对依赖与ABI;模型维度不符先查配置和权重;CUDA不可见先查构建与设备映射。显存OOM与主机Killed、DataLoader共享内存错误应分开查。保留完整日志,不用自动CPU回落掩盖本次GPU验证没有成功。
正式微调还须定义目标、标签、供体及批次拆分、训练/验证与留出集,避免同一供体信息泄漏到评价中。官方训练示例并不是任意数据的一键方案;先完成方法设计和小训练验证,再测包含反向传播与优化器的完整峰值。推理配置不能当训练规格承诺。
参考资料
需要额外算力时
适用前提:模型可合法使用且任务、框架与显存需求已验证。如需额外资源,可评估兼容GPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
