云生信学生物信息学

为分区间与多样本运行规划CPU、内存和工作盘

作者:发布于 2026-11-18更新于 2026-11-15约 9 分钟阅读
为分区间与多样本运行规划CPU、内存和工作盘

为分区间与多样本运行规划CPU、内存和工作盘:先跑完整串行基线;按参考顺序汇总同样本;用总峰值算初始并发;验证重叠任务和工作盘
本文操作与检查路径示意。

HaplotypeCaller并发可以来自区间或独立样本,但两层一起放开容易超过RAM和工作盘。先固定一个科学上适用的拆分协议,再安排资源。本文采用整条常染色体一任务,减少任意窗口边界的问题;不把更多分片等同于必然更快。

先确认队列范围与输入顺序

准备同参考、已验收的S01.ready.bam及索引,autosomes.list按FASTA字典顺序列出需要的22条常染色体,每行一个名称且不重复。下例每个任务处理同一个样本的一条contig,不能把不同样本gVCF送入GatherVcfs。其他倍性和变异类型另用对应方案。

并发层 要固定什么 资源规划
区间层 同样本、非重叠contig、输出模式 每任务RAM和临时盘重叠
样本层 各样本正确BAM与同一协议 与区间并发相乘核算
PairHMM线程 实际使用的native实现与设置 不当作所有阶段CPU总数
最终gather 相同样本、参考顺序、无重叠事件 单独计时并验收输出

保存完整的串行基线

以下Python调用已安装GATK。先逐个任务验证状态与文件,再按输入顺序gather;新目录拒绝覆盖。2线程和8g Java堆是示例,不是总RAM需求。确认整条contig方案与研究范围匹配后,才在调度系统中按预算改变同时运行数量。

import subprocess
from pathlib import Path
contigs = Path("autosomes.list").read_text().splitlines()
assert len(contigs)==22 and len(set(contigs))==22
assert set(contigs)=={f"chr{i}" for i in range(1,23)}
fai_names=[s.split("\t")[0] for s in Path("/refs/GRCh38.fa.fai").read_text().splitlines()]
expected_order=[s for s in fai_names if s in set(contigs)]
assert contigs==expected_order, "清单顺序必须与参考一致"
base=Path("hc-contigs-001"); base.mkdir(exist_ok=False)
outputs=[]
for contig in contigs:
    out=base/(contig+".g.vcf.gz")
    cmd=["gatk","--java-options","-Xmx8g","HaplotypeCaller",
         "-R","/refs/GRCh38.fa","-I","/data/S01.ready.bam","-L",contig,
         "--native-pair-hmm-threads","2","-ERC","GVCF","-O",str(out)]
    with (base/(contig+".log")).open("w") as log:
        result=subprocess.run(cmd,stdout=log,stderr=subprocess.STDOUT)
    expected=[out,Path(str(out)+".tbi")]
    if result.returncode or not all(p.is_file() and p.stat().st_size>0 for p in expected):
        raise SystemExit("未通过计算验收:"+contig)
    outputs.append(out)
cmd=["gatk","GatherVcfs"]
for out in outputs: cmd += ["-I",str(out)]
final=base/"S01.autosomes.g.vcf.gz"
cmd += ["-O",str(final)]
subprocess.run(cmd,check=True)
expected=[final,Path(str(final)+".tbi")]
if not all(p.is_file() and p.stat().st_size>0 for p in expected):
    raise SystemExit("gather未生成非空输出及索引")
samples=subprocess.check_output(["bcftools","query","-l",str(final)],text=True).splitlines()
assert samples==["S01"], "gather样本身份不符"

这个基线没有并行,目的在于先证明任务集合和gather可用。汇总同样本非重叠contig与不同样本的联合分型是两件事;生成S01.autosomes.g.vcf.gz后仍需进入适用分型流程,不是最终过滤后的变异集。

列表的顺序用代码与参考FAI核对,gather后再查最终样本名和非空索引。若清单换成不带chr前缀的参考,先修改并验证名称规则,不能只把断言删掉;若目标集合改动,任务清单、验收范围与交接说明也一起更新。

用实测总峰值计算初始并发

纯演算:账号24核、128 GiB,保留24 GiB;单任务按4核和18 GiB预算。初始并发上界是min(24÷4取整,104÷18取整)=5。这里4核覆盖实际任务预算,不能只因为PairHMM设2就把全部CPU开销当2核;18 GiB也不能从8g堆直接推出来。

from math import floor
cpu, ram, reserve = 24, 128, 24
cpu_per_task, ram_per_task = 4, 18  # 假设演算,需替换为实测预算
limit=min(cpu//cpu_per_task, floor((ram-reserve)/ram_per_task))
print("初始同时任务上界", limit)

先试少量区间重叠,观察任务组RAM、BAM读取、输出盘和整批时间,再扩大。若多个样本也同时运行,所有活动区间都计入同一个资源预算,不让每个样本各自占满5任务。较慢contig可能决定收尾时间,不能把平均区间耗时乘批次数当交付保证。

资源计划表按每条contig记开始、结束、退出码、输出位置与验收状态。这样能够看出长尾任务究竟集中在哪条染色体,也能区分等待输入和计算本身。另记gather的运行窗口:所有分片结束后,它仍需要CPU、RAM和能容纳汇总结果的空间。

检查gather与恢复边界

核对全部contig完成、样本名一致、gVCF及索引可读、范围没有遗漏。GatherVcfs要求输入按基因组顺序且无重叠事件;若换成contig内切块,原基线的安全条件不再自动成立,需重新处理padding与边界结果。不要先盲目去重再强行汇总。

失败区间保留日志与现场,只有输入、版本、区间和输出一致且可读时才考虑复用;更改切分后建立新批次。保存中间gVCF、gather结果、索引与日志的同时占用,正式规格应覆盖完整阶段,不只覆盖最容易的一条contig。

参考资料

需要额外算力时

适用前提:合理任务拆分后仍需更多并发资源。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗