
HaplotypeCaller并发可以来自区间或独立样本,但两层一起放开容易超过RAM和工作盘。先固定一个科学上适用的拆分协议,再安排资源。本文采用整条常染色体一任务,减少任意窗口边界的问题;不把更多分片等同于必然更快。
先确认队列范围与输入顺序
准备同参考、已验收的S01.ready.bam及索引,autosomes.list按FASTA字典顺序列出需要的22条常染色体,每行一个名称且不重复。下例每个任务处理同一个样本的一条contig,不能把不同样本gVCF送入GatherVcfs。其他倍性和变异类型另用对应方案。
| 并发层 | 要固定什么 | 资源规划 |
|---|---|---|
| 区间层 | 同样本、非重叠contig、输出模式 | 每任务RAM和临时盘重叠 |
| 样本层 | 各样本正确BAM与同一协议 | 与区间并发相乘核算 |
| PairHMM线程 | 实际使用的native实现与设置 | 不当作所有阶段CPU总数 |
| 最终gather | 相同样本、参考顺序、无重叠事件 | 单独计时并验收输出 |
保存完整的串行基线
以下Python调用已安装GATK。先逐个任务验证状态与文件,再按输入顺序gather;新目录拒绝覆盖。2线程和8g Java堆是示例,不是总RAM需求。确认整条contig方案与研究范围匹配后,才在调度系统中按预算改变同时运行数量。
import subprocess
from pathlib import Path
contigs = Path("autosomes.list").read_text().splitlines()
assert len(contigs)==22 and len(set(contigs))==22
assert set(contigs)=={f"chr{i}" for i in range(1,23)}
fai_names=[s.split("\t")[0] for s in Path("/refs/GRCh38.fa.fai").read_text().splitlines()]
expected_order=[s for s in fai_names if s in set(contigs)]
assert contigs==expected_order, "清单顺序必须与参考一致"
base=Path("hc-contigs-001"); base.mkdir(exist_ok=False)
outputs=[]
for contig in contigs:
out=base/(contig+".g.vcf.gz")
cmd=["gatk","--java-options","-Xmx8g","HaplotypeCaller",
"-R","/refs/GRCh38.fa","-I","/data/S01.ready.bam","-L",contig,
"--native-pair-hmm-threads","2","-ERC","GVCF","-O",str(out)]
with (base/(contig+".log")).open("w") as log:
result=subprocess.run(cmd,stdout=log,stderr=subprocess.STDOUT)
expected=[out,Path(str(out)+".tbi")]
if result.returncode or not all(p.is_file() and p.stat().st_size>0 for p in expected):
raise SystemExit("未通过计算验收:"+contig)
outputs.append(out)
cmd=["gatk","GatherVcfs"]
for out in outputs: cmd += ["-I",str(out)]
final=base/"S01.autosomes.g.vcf.gz"
cmd += ["-O",str(final)]
subprocess.run(cmd,check=True)
expected=[final,Path(str(final)+".tbi")]
if not all(p.is_file() and p.stat().st_size>0 for p in expected):
raise SystemExit("gather未生成非空输出及索引")
samples=subprocess.check_output(["bcftools","query","-l",str(final)],text=True).splitlines()
assert samples==["S01"], "gather样本身份不符"
这个基线没有并行,目的在于先证明任务集合和gather可用。汇总同样本非重叠contig与不同样本的联合分型是两件事;生成S01.autosomes.g.vcf.gz后仍需进入适用分型流程,不是最终过滤后的变异集。
列表的顺序用代码与参考FAI核对,gather后再查最终样本名和非空索引。若清单换成不带chr前缀的参考,先修改并验证名称规则,不能只把断言删掉;若目标集合改动,任务清单、验收范围与交接说明也一起更新。
用实测总峰值计算初始并发
纯演算:账号24核、128 GiB,保留24 GiB;单任务按4核和18 GiB预算。初始并发上界是min(24÷4取整,104÷18取整)=5。这里4核覆盖实际任务预算,不能只因为PairHMM设2就把全部CPU开销当2核;18 GiB也不能从8g堆直接推出来。
from math import floor
cpu, ram, reserve = 24, 128, 24
cpu_per_task, ram_per_task = 4, 18 # 假设演算,需替换为实测预算
limit=min(cpu//cpu_per_task, floor((ram-reserve)/ram_per_task))
print("初始同时任务上界", limit)
先试少量区间重叠,观察任务组RAM、BAM读取、输出盘和整批时间,再扩大。若多个样本也同时运行,所有活动区间都计入同一个资源预算,不让每个样本各自占满5任务。较慢contig可能决定收尾时间,不能把平均区间耗时乘批次数当交付保证。
资源计划表按每条contig记开始、结束、退出码、输出位置与验收状态。这样能够看出长尾任务究竟集中在哪条染色体,也能区分等待输入和计算本身。另记gather的运行窗口:所有分片结束后,它仍需要CPU、RAM和能容纳汇总结果的空间。
检查gather与恢复边界
核对全部contig完成、样本名一致、gVCF及索引可读、范围没有遗漏。GatherVcfs要求输入按基因组顺序且无重叠事件;若换成contig内切块,原基线的安全条件不再自动成立,需重新处理padding与边界结果。不要先盲目去重再强行汇总。
失败区间保留日志与现场,只有输入、版本、区间和输出一致且可读时才考虑复用;更改切分后建立新批次。保存中间gVCF、gather结果、索引与日志的同时占用,正式规格应覆盖完整阶段,不只覆盖最容易的一条contig。
参考资料
需要额外算力时
适用前提:合理任务拆分后仍需更多并发资源。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
