云生信学生物信息学

按版本检查模型设置、输入规模与显存占用

作者:发布于 2026-11-16更新于 2026-11-15约 5 分钟阅读
按版本检查模型设置、输入规模与显存占用

按版本检查模型设置、输入规模与显存占用:保留版本与错误阶段;检查未过滤计数和设备;按后验阶段调整批次;验收报告与矩阵
本文操作与检查路径示意。

CellBender报“显存不够”时,先保留完整错误和阶段。CUDA分配失败指向设备内存;只有“Killed”则不足以认定GPU问题,还可能是主机RAM或作业额度。本文处理已经安装并能启动的remove-background,不用更改模型目标来掩盖失败。

核对版本、原始计数与设备

输入应是包含空液滴的未过滤计数,例如Cell Ranger的raw_feature_bc_matrix.h5。filtered矩阵缺少背景信息,不应为了缩小文件而替代。按建库和UMI排序曲线确认细胞与液滴范围;已有标准化值、不同模态混入或条形码错配,应先修正输入。

cellbender --version
cellbender remove-background --help > cellbender-help.txt
nvidia-smi
python -c "import torch; print(torch.__version__, torch.version.cuda, torch.cuda.is_available())"
sha256sum raw_feature_bc_matrix.h5 > input.sha256
free -h
df -h .

记录设备型号、单卡显存、正在占用它的进程,以及容器实际映射的GPU。不要停止别人的进程;共享环境先核对自己能使用的设备。CUDA可用只说明框架路径可见,真正的CellBender任务仍需验证。

失败位置或信息 先查什么 下一步
启动前CUDA不可用 驱动、PyTorch构建、容器设备映射 修环境后再跑
训练中CUDA分配失败 完整日志、输入规模、其他显存占用 保留方法设置,定位实际容量
后验计算中CUDA分配失败 posterior-batch-size与有效检查点 按本版本帮助减小后验批次
进程直接被Killed 作业OOM、主机RAM、额度 向管理员取得作业级证据

仅对后验阶段使用匹配的调整

官方排错页建议在后验生成显存不足时,将posterior-batch-size从当前文档默认128试为64,代价可能是更慢。它不是训练批大小参数,也不能保证解决训练阶段错误。下面假设已有失败运行及其ckpt.tar.gz,保留原输入和其余原命令参数,先备份日志再重试。

# 在原运行目录操作;替换绝对路径,原命令的其他方法参数照旧保留
test -s ckpt.tar.gz || exit 1
cellbender remove-background --cuda   --input /data/S01/raw_feature_bc_matrix.h5   --output output.h5 --checkpoint ckpt.tar.gz   --posterior-batch-size 64 > retry.out.log 2> retry.err.log

检查日志是否确认恢复了正确检查点。版本、输入或关键参数不匹配时,程序可能不能复用;不要用force-use-checkpoint绕过校验来让它继续。没有检查点就不能假定已训练部分会自动恢复,应按失败阶段重新安排运行。

怎样验收,而不只看文件存在

先看退出状态和日志,确认没有新的CUDA或主机OOM;再打开HTML报告,核对学习曲线、细胞概率与背景去除相关警告。完整输出和filtered输出含义不同:前者保留全部原条形码,后者保留判为细胞的液滴。两种矩阵不能在不说明范围时直接比较细胞数量。

抽查特征与条形码能否对应原输入,检查预期标记和细胞质量。程序完成并不证明每个细胞已通过质量控制,也不保证背景去除适合本实验。报告缺失或模型异常时应保留错误,先查工具与数据问题,不以增大显存作为唯一处理。

如果日志只有Killed,保留发生时间、作业ID和主机内存记录,让管理员核对同时间段的OOM事件。不要把显卡监控中尚有空闲的截图,当成主机内存也足够的证据。

最后记录可复现的容量结论

把版本、输入校验值、液滴范围、方法参数、错误阶段、显存和RAM记录放在一起。当前文档说明单个任务只使用一张GPU,增加卡数不能直接合并显存。只有同一输入和方法在干净设备上仍有明确容量缺口,才比较更大单卡显存,并在候选环境复验。

参考资料

需要额外算力时

适用前提:原始未过滤输入与参数已核对,确认单卡显存缺口且CUDA、CellBender版本兼容;同一任务不以多卡拼接显存。如需额外资源,可评估兼容单卡GPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗