云生信学生物信息学

为多个样本建立CPU内存预算和可恢复运行计划

作者:发布于 2026-11-16更新于 2026-11-15约 8 分钟阅读
为多个样本建立CPU内存预算和可恢复运行计划

为多个样本建立CPU内存预算和可恢复运行计划:验收单样本输入与脚本;按CPU和内存限并发;独立记录退出状态;检查节点后再恢复
本文操作与检查路径示意。

多个RNA velocity样本批量运行时,单个样本能完成,不代表同时开多个也安全。动力学拟合可能自己启动worker,底层数值库也可能使用线程;外层并发再乘上内部并行,会使资源超出计划。本文从已验收的单样本脚本出发,建立可恢复的批次。

先决定样本是否应该独立拟合

这里的样本是可以按研究设计独立分析的任务,不默认应把所有条件简单分开。独立模型与联合模型的细胞邻域、动力学和解释范围不同,应先明确科学方案。每份h5ad包含对应的spliced、unspliced与预处理记录,不以复制普通表达层代替剪接计数。

需要填写 本项目值 依据
单任务worker数/数值库线程 ____ / ____ 同输入试跑和环境配置
单任务主机峰值 ____ GiB 包含读取、拟合、graph及保存
账号可用CPU/内存 ____ / ____ GiB 作业、容器或管理员确认
允许外层并发 ____个 CPU与内存上限取较小值后复验
独立结果与完成检查 ____ 文件、日志、模型与生物检查

用预算给并发设置上限

纯演算例子:账号12核、96 GiB,预留16 GiB;单任务4个worker、实测预算24 GiB,且底层线程限制为1。初始并发上界是min(12÷4取整,80÷24取整)=3。数字只演示计算,不是velocity配置推荐;实际worker、额外父进程与I/O还需重叠试跑。

清单、日志和成功标记一起保存

准备samples.csv,列sample_id,path,使用唯一且仅含字母数字下划线短横线的ID和输入绝对路径。采用前篇velocity_one.py的接口。以下启动器先按顺序运行,验证后才把max_workers改为预算允许值;每次使用新的批次目录,不覆盖旧结果。

import csv, os, re, subprocess, sys
from pathlib import Path
from concurrent.futures import ThreadPoolExecutor
rows = list(csv.DictReader(open("samples.csv", encoding="utf-8-sig", newline="")))
ids = [r["sample_id"] for r in rows]
assert rows and len(ids) == len(set(ids))
assert all(re.fullmatch(r"[A-Za-z0-9_-]+", x) for x in ids)
assert all(Path(r["path"]).is_absolute() and Path(r["path"]).is_file() for r in rows)
base = Path("velocity-batch-001"); base.mkdir(exist_ok=False)
runner = str(Path("velocity_one.py").resolve())
env = dict(os.environ, OMP_NUM_THREADS="1", OPENBLAS_NUM_THREADS="1", MKL_NUM_THREADS="1")
def run(r):
    log = base/(r["sample_id"]+".log")
    target = base/r["sample_id"]
    with log.open("w", encoding="utf-8") as f:
        result = subprocess.run([sys.executable, runner, r["path"], str(target), "1"],
                                stdout=f, stderr=subprocess.STDOUT, env=env)
    code = result.returncode
    if code == 0 and not (target/"velocity.h5ad").is_file():
        code = 1
        with log.open("a", encoding="utf-8") as f:
            f.write("\nVALIDATION_ERROR: velocity.h5ad missing after exit 0\n")
    if code == 0:
        (target/"COMPUTE_OK").write_text("requires scientific review\n")
    return r["sample_id"], code
with ThreadPoolExecutor(max_workers=1) as pool:
    results = list(pool.map(run, rows))
with (base/"exit-codes.csv").open("w", newline="") as f:
    w = csv.writer(f); w.writerow(["sample_id", "exit_code"]); w.writerows(results)
if any(code != 0 for _, code in results): raise SystemExit(1)

COMPUTE_OK只表示程序层面的完成,不能替代科学验收。修改内层jobs或外层并发时,同时更新预算,不能沿用原24 GiB示例。每份日志保留版本、输入与阶段信息,并将完整清单复制到批次记录。

给每个样本记录峰值和耗时,而不只保存全批平均数。大样本的Ms、Mu和拟合对象可能远大于中位数样本;按平均值配置会在少数任务进入高峰时失败。还要检查写入节点与最终文件时的盘占用,确保完成的结果不会被下一批挤满工作盘。

需要中途调整排期时,保留原清单与退出码,用新清单只列经过确认的失败或未运行样本。已完成样本要先通过结果复核,再从重跑范围排除;输入或方法改变的任务另记批次,避免与旧模型混用。

失败后从什么位置继续

先检查退出码、完整错误和阶段文件。只有moments或fitted文件能够重新读取、与当前输入及方法参数匹配,才可为该阶段编写明确的继续脚本。不要仅凭文件名存在自动跳过拟合,也不把最后半写的h5ad标为完成。修改基因集合或邻域之后,旧拟合节点通常不能直接当新任务输入。

正式运行先用两个代表任务重叠,观察总内存、临时盘和整批耗时,再扩大批次。样本大小差异明显时按规模分组,避免大任务高峰同时出现。盘不足或输入层错误先修流程;必要工作集超出实际额度时,再比较可用CPU、RAM与保存窗口。

参考资料

需要额外算力时

适用前提:已有合适输入与明确方法,批量计算超过本地资源。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗