
单样本流程跑通后,先把任务入口、输出和完成条件固定,再扩成队列。本篇从已完成前处理的人类短读长germline常染色体BAM开始,批量生成单样本gVCF;上游比对与BQSR仍需各自验收。队列完成并不表示队列已经联合分型。
让样本清单对应真实BAM头
准备samples.csv,列sample_id,bam,BAM采用绝对路径,坐标排序并有可读索引。一个文件对应一个生物学样本,read group的SM应一致;不同lane保留正确ID和文库信息后再按既定流程汇总。不能通过改文件名把错样问题掩盖过去。
| 队列材料 | 需要固定 | 完成条件 |
|---|---|---|
| BAM清单 | 样本ID、参考、前处理版本 | 头部样本与清单一致 |
| 调用协议 | GATK、区间、倍性、输出模式 | 每样本同范围gVCF |
| 工作目录 | 每样本独立且全新 | 日志、退出码、索引可访问 |
| 资源 | 单任务堆、实际总RAM与并发 | 必要工作集和平台额度匹配 |
保存完整的单任务入口
以下保存为call_one.sh,接收样本ID、BAM和新输出目录。示例使用已核对参考及常染色体清单,2个native PairHMM线程与8g堆仅为演示。PairHMM并行不是整个HaplotypeCaller的通用线程开关,不假定每阶段都用满两核。
#!/usr/bin/env bash
set -euo pipefail
[ "$#" -eq 3 ] || exit 2
sid=$1; bam=$2; out=$3
case "$sid" in *[!A-Za-z0-9_-]*|"") exit 2;; esac
mkdir "$out"
samtools quickcheck "$bam"
samtools idxstats "$bam" > "$out/idxstats.txt"
sample=$(samtools view -H "$bam" | awk -F'\t' '$1=="@RG"{for(i=2;i<=NF;i++)if($i~/^SM:/)print substr($i,4)}' | sort -u)
test "$sample" = "$sid"
gatk --java-options "-Xmx8g" HaplotypeCaller -R /refs/GRCh38.fa -I "$bam" -L /refs/autosomes.list --native-pair-hmm-threads 2 -ERC GVCF -O "$out/sample.g.vcf.gz"
test -s "$out/sample.g.vcf.gz" && test -s "$out/sample.g.vcf.gz.tbi" || exit 2
test "$(bcftools query -l "$out/sample.g.vcf.gz")" = "$sid"
样本数多时,参考与程序环境可只读复用,输出目录和日志仍按样本独立。若同一BAM对应多个供体、样本头缺失或混有不一致SM,先解决数据身份;这类错误不能靠换一个sample_id让检查通过。
先顺序运行,再按预算增加并发
下面启动器需要Python标准库和上述脚本。样本ID限简单字符,默认顺序执行;每次新建批次目录,失败立即停止并保留状态。完成后必须人工核对调用范围与gVCF,不把路径存在当作科学验收。
import csv, re, subprocess
from pathlib import Path
rows = list(csv.DictReader(open("samples.csv", encoding="utf-8-sig", newline="")))
ids = [r["sample_id"] for r in rows]
assert rows and len(ids) == len(set(ids))
assert all(re.fullmatch(r"[A-Za-z0-9_-]+", s) for s in ids)
assert all(Path(r["bam"]).is_absolute() and Path(r["bam"]).is_file() for r in rows)
root = Path("gvcf-batch-001"); root.mkdir(exist_ok=False)
runner = str(Path("call_one.sh").resolve())
with (root/"status.csv").open("w", newline="") as f:
w = csv.writer(f); w.writerow(["sample_id", "exit_code"])
for r in rows:
out = root/r["sample_id"]
with (root/(r["sample_id"]+".log")).open("w") as log:
result = subprocess.run(["bash",runner,r["sample_id"],r["bam"],str(out)],
stdout=log,stderr=subprocess.STDOUT)
status = result.returncode
expected=[out/"sample.g.vcf.gz",out/"sample.g.vcf.gz.tbi"]
if status == 0 and not all(p.is_file() and p.stat().st_size>0 for p in expected):
status=1
log.write("VALIDATION_ERROR: missing or empty gVCF/index\n")
w.writerow([r["sample_id"],status]); f.flush()
if status: raise SystemExit("失败样本:"+r["sample_id"])
如果单任务已超过额度,先查输入、重复计算和必要工作集,再调整资源。需要并发时,以实际总RAM、CPU和临时盘共同限额,并为父进程及系统保留空间;多个8g堆并不等于多份任务只占8 GiB。先测两个代表样本重叠,再扩大队列。
先用少量样本演练一个真实失败:让单任务返回非零,确认状态表记失败且后续样本没有启动。再检查返回零但缺输出的情况,启动器也必须失败。两种情况区别在日志中保留,不能统一写成“计算完成”再靠人工寻找漏掉的文件。
恢复失败范围与交接
从status.csv定位失败与未运行样本,复核此前成功文件再决定是否排除重跑。输入、参考或调用参数变化后建立新批次,不能直接沿用旧gVCF。故障现场保留,失败样本改新目录重跑,不手写成功标记。
输出清单包含样本ID、gVCF与索引、参考、软件和区间版本。gVCF需进入兼容的联合分型步骤后才形成队列VCF,不能简单拼接不同样本文件代替联合推断。后续过滤、样本质量与变异可靠性仍按研究目标单独验收。
正式排期还应包含数据接收、前处理、复核及迁出窗口。清单中逐项填写输入校验、参考版本、调用范围、输出大小、完成时间和验收人;队列暂停恢复时先比对这些信息,避免把旧批次的同名文件算进新批次。
参考资料
需要额外算力时
适用前提:已有原始数据且希望自行运行确定的流程。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
