云生信学生物信息学

检查版本、区间拆分、输入与单任务资源

作者:发布于 2026-11-18更新于 2026-11-15约 7 分钟阅读
检查版本、区间拆分、输入与单任务资源

检查版本、区间拆分、输入与单任务资源:检查BAM参考与实际热点;按常染色体生成区间;试一个明确的调用任务;复核边界与最终汇总
本文操作与检查路径示意。

HaplotypeCaller慢时,先检查输入和慢点,再决定增加线程还是拆任务。它会在活跃区域局部组装,深覆盖、复杂区域、I/O和具体PairHMM实现都可能影响耗时。GATK3的nt/nct不能直接当作GATK4通用线程参数,CPU占用低也不自动意味着配置错误。

确认单任务确实可比较

示例限定已完成适用前处理、坐标排序且有索引的人类短读长germline BAM,参考与fai/dict匹配。确认read group样本身份、倍性与分析范围;这里先处理常染色体。不要为了更快任意改downsampling、组装或过滤参数,它们可能改变检出结果。

gatk --version
gatk HaplotypeCaller --help > hc-help.txt
samtools quickcheck /data/S01.ready.bam
samtools view -H /data/S01.ready.bam > S01-header.sam
samtools idxstats /data/S01.ready.bam > S01-idxstats.tsv
df -h /data/work
证据 先核对 合理下一步
输入校验报错 参考、read group、索引与排序 修输入,不关闭字典检查
某位置长期很慢 覆盖、重复与局部复杂度 记录热点,按方法判断
CPU未用满 实际PairHMM实现与其他阶段 比较局部线程收益
RAM或临时盘失败 Java堆、native内存、任务额度 测总峰值后调整
准备拆区间 目标范围、边界及gVCF块 先确定scatter/gather协议

先按完整常染色体准备区间

下面从采用chr前缀的人类参考fai生成22条常染色体清单,并按参考顺序写出。若参考命名不同应修改规则,不强行给BAM改名称。整条contig作为初始分组可以避免在染色体内部任意切开组装区域,但任务可能不均衡,仍需观察实际耗时。

from pathlib import Path
rows = [line.split("	") for line in Path("/refs/GRCh38.fa.fai").read_text().splitlines()]
names = [row[0] for row in rows]
wanted = {f"chr{i}" for i in range(1,23)}
assert wanted <= set(names), "参考缺预期常染色体,先核对命名"
selected = [n for n in names if n in wanted]
assert len(selected) == 22 and len(set(selected)) == 22
with open("autosomes.list", "x") as f:
    f.write("\n".join(selected)+"\n")

随后可用SplitIntervals分组。示例scatter-count=4只演示任务分组,BALANCING_WITHOUT_INTERVAL_SUBDIVISION保留已有输入区间,不等于每组真实运行时间相等。更细切分属于新的执行协议,要检查边界与结果,不能预先保证完全相同。

set -euo pipefail
test ! -e intervals-001
test ! -e pilot.g.vcf.gz
gatk SplitIntervals -R /refs/GRCh38.fa -L autosomes.list   --scatter-count 4 --subdivision-mode BALANCING_WITHOUT_INTERVAL_SUBDIVISION   -O intervals-001
/usr/bin/time -v -o hc-pilot.time.txt   gatk --java-options "-Xmx8g" HaplotypeCaller   -R /refs/GRCh38.fa -I /data/S01.ready.bam   -L intervals-001/0000-scattered.interval_list   --native-pair-hmm-threads 2 -ERC GVCF -O pilot.g.vcf.gz   > hc-pilot.stdout.log 2> hc-pilot.stderr.log

若pilot没有输出或索引,先看程序退出码和错误阶段,不能拿一个空gVCF进入汇总。测试目录采用新名字,避免旧interval_list残留;所有区间文件的并集、交集与目标集合要在正式队列前核对,首次成功的分组应连同参考字典保存。

区间成功之后还要检查什么

查看生成的interval_list及日志,确认没有遗漏、重叠或混入非目标contig。任务编号不是基因组排序保证;最终汇总需按实际覆盖和参考字典处理。这里的pilot只覆盖第一组,不能标成全基因组调用完成,输出也仍是中间gVCF。

native-pair-hmm-threads只控制适用native实现的PairHMM部分,具体是否启用看日志。Java堆8g不是任务总RAM;额外native对象、读缓存与系统空间也需测。先用相同区间比较小范围线程设置,保留成功且结果可解释的记录。

对照检查应选包含复杂事件与切分边界的区域,固定BAM、参考、版本和科学参数,分别保留未拆与拆后结果。核对目标位点及等位基因、基因型和边界附近记录;只比较总行数相等,会漏掉一处减少、另一处增加的差异。

不要用盲目padding掩盖边界问题

若把同一contig切成相邻窗口,padding、组装上下文与跨边界事件可能影响记录和重复。必须区分计算范围与最终保留范围,并在边界做同输入对照,使用适合该流程的gather方法。不能对一批重叠gVCF简单cat或去重,就称为与未拆任务等价。

输入或参考问题先修复,必要任务确有资源缺口时,再比较单任务额度和合理并发。正式资源结论要包括所有区间、完整gather及输出验收,不用第一组的短耗时承诺全批结束时间。

参考资料

需要额外算力时

适用前提:合理任务拆分后仍需更多并发资源。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗