云生信学生物信息学

用小批次测显存与耗时,再规划GPU租赁任务

作者:发布于 2026-11-18更新于 2026-11-15约 9 分钟阅读
用小批次测显存与耗时,再规划GPU租赁任务

用小批次测显存与耗时,再规划GPU租赁任务:固定模型细胞与序列长度;独立进程测两个batch;分别核对CUDA和主机峰值;结果通过后扩量与计费
本文操作与检查路径示意。

选GPU时,先把一个可运行模型任务固定,再测batch与峰值。本篇只测scGPT的细胞嵌入推理;微调需要包含前向、反向和优化器的另一份基线。细胞总数、序列长度、模型宽度与精度都会影响开销,不能只根据参数文件大小选显存。

固定一份具有代表性的入口

准备已验收的pilot-counts.h5ad、匹配的args.json/vocab.json/best_model.pt和固定环境。X应为该入口已确认的非负原始计数,feature_name为匹配词表的唯一基因符号;细胞顺序与范围固定,保留校验。不要同时更换基因集合、精度和batch,再把全部差异归因显卡。

比较项 两组保持相同 每组记录
模型与数据 版本、权重、词表、细胞与基因 校验、匹配数、模型后端
batch16/32 max_length=1200、同设备 模型载入至嵌入秒数、峰值
CPU准备 相同额度与亲和范围 DataLoader worker数与RAM
输出质量 细胞顺序与评价协议 形状、有限值、下游差异
正式预算 通过验收的任务范围 迁入、写出、复核与费用

每个batch启动一个新进程

以下保存为probe_scgpt.py,参数是batch和新目录。需要兼容PyTorch/scGPT、可用CUDA及已经验证的输入。示例要求本Linux进程可用CPU亲和集合不超过16核,使batch16/32时源码派生的worker数保持一致;其他环境应由平台先固定相同的CPU安排。

import json, os, sys, time
from pathlib import Path
import numpy as np, scanpy as sc, torch
from scipy import sparse
from scgpt.tasks.cell_emb import embed_data
from scgpt.utils import set_seed
batch=int(sys.argv[1]); root=Path(sys.argv[2])
assert batch in (16,32) and torch.cuda.is_available()
affinity=len(os.sched_getaffinity(0))
assert 0<affinity<=16, "先固定相同CPU亲和预算"
adata=sc.read_h5ad("pilot-counts.h5ad")
assert adata.n_obs>0 and adata.obs_names.is_unique
assert "feature_name" in adata.var and adata.var["feature_name"].notna().all()
assert adata.var["feature_name"].astype(str).is_unique
values=adata.X.data if sparse.issparse(adata.X) else np.asarray(adata.X)
assert np.isfinite(values).all() and (values>=0).all() and (values==np.floor(values)).all()
root.mkdir(exist_ok=False)
set_seed(2026)
torch.cuda.synchronize(); torch.cuda.reset_peak_memory_stats()
start=time.perf_counter()
out=embed_data(adata,Path("/models/scGPT-verified"),gene_col="feature_name",
              batch_size=batch,max_length=1200,device="cuda",
              use_fast_transformer=False,return_new_adata=False)
torch.cuda.synchronize()
seconds=time.perf_counter()-start
embedding=out.obsm["X_scGPT"]
assert out.obs_names.equals(adata.obs_names) and embedding.shape[0]==adata.n_obs
assert np.isfinite(embedding).all()
metrics={"batch":batch,"cells":out.n_obs,"seconds_load_model_to_embedding":seconds,
 "cuda_peak_allocated_mib":torch.cuda.max_memory_allocated()/2**20,
 "cuda_peak_reserved_mib":torch.cuda.max_memory_reserved()/2**20,
 "cpu_affinity_count":affinity,"loader_workers":min(affinity,batch)}
out.write_h5ad(root/"embedded.h5ad")
(root/"metrics.json").write_text(json.dumps(metrics,indent=2)+"\n")
set -euo pipefail
/usr/bin/time -v -o scgpt-b16.time.txt \
  python probe_scgpt.py 16 scgpt-b16-001 > scgpt-b16.log 2>&1
/usr/bin/time -v -o scgpt-b32.time.txt \
  python probe_scgpt.py 32 scgpt-b32-001 > scgpt-b32.log 2>&1

代码计时从模型载入到嵌入结束,不含h5ad读取与结果写出;外层墙钟另含这些步骤,两种口径不要混用。CUDA调用异步,计时前后同步;allocated与reserved是PyTorch分配器指标,不等于设备上全部进程占用,另用设备监控核对总显存。

reset_peak_memory_stats只重置峰值计数,不清空已载入模型或缓存,因此两组采用独立进程。只在同一交互会话反复改batch,会混入已有分配与缓存状态。每次同时记录设备上的其他活动进程,避免把共享显存争用误读为模型需求增加。

显存下降不代表RAM问题已解决

当前embed_data源码会整体稠密化所选X,并根据CPU亲和范围与batch派生DataLoader workers。GPU批大小减半可能降低部分显存,却不限制整个主机数组。主机RAM、共享内存、模型载入和写出也要观察;不要把Killed统一当CUDA OOM。

两组都通过输出形状、细胞对应和有限值检查后,再比较耗时与峰值。token采样、随机性和数值环境可能带来差异,不能只要求字节一致,也不能跳过嵌入及下游任务质量核对。降低max_length会改变任务,需单列而不是混进batch对照。

从小批次进入正式排期

若batch32失败,保留错误与现场,只把实际通过的记录用于候选配置。增加细胞总量时,主机数组和输出会增长,不能用本次GPU峰值保证整批都能完成。模型、后端或序列长度改变后重新验证;微调则单独测完整训练步和优化器状态。

成本按实际整套资源单价与计费粒度填写,包含环境准备、输入迁移、模型载入、计算、保存及复核。首次启动和重复调用分开测,不自编显卡速度或金额。只在必要任务有明确容量或完成窗口缺口时选择更大GPU,并保留CPU与工作盘的完整预算。

参考资料

需要额外算力时

适用前提:模型可合法使用且任务、框架与显存需求已验证。如需额外资源,可评估兼容GPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

先确定合适的计算资源

根据数据规模和分析任务,快速测算 CPU、内存、存储与 GPU 配置。

测算服务器配置仍有疑问,联系客服 ↗