云生信学生物信息学

把单样本流程扩展为队列服务器批处理

作者:发布于 2026-11-18更新于 2026-11-15约 9 分钟阅读
把单样本流程扩展为队列服务器批处理

把单样本流程扩展为队列服务器批处理:核对清单与BAM样本头;固定完整单任务入口;记录状态后逐步并发;按gVCF交接进入分型
本文操作与检查路径示意。

单样本流程跑通后,先把任务入口、输出和完成条件固定,再扩成队列。本篇从已完成前处理的人类短读长germline常染色体BAM开始,批量生成单样本gVCF;上游比对与BQSR仍需各自验收。队列完成并不表示队列已经联合分型。

让样本清单对应真实BAM头

准备samples.csv,列sample_id,bam,BAM采用绝对路径,坐标排序并有可读索引。一个文件对应一个生物学样本,read group的SM应一致;不同lane保留正确ID和文库信息后再按既定流程汇总。不能通过改文件名把错样问题掩盖过去。

队列材料 需要固定 完成条件
BAM清单 样本ID、参考、前处理版本 头部样本与清单一致
调用协议 GATK、区间、倍性、输出模式 每样本同范围gVCF
工作目录 每样本独立且全新 日志、退出码、索引可访问
资源 单任务堆、实际总RAM与并发 必要工作集和平台额度匹配

保存完整的单任务入口

以下保存为call_one.sh,接收样本ID、BAM和新输出目录。示例使用已核对参考及常染色体清单,2个native PairHMM线程与8g堆仅为演示。PairHMM并行不是整个HaplotypeCaller的通用线程开关,不假定每阶段都用满两核。

#!/usr/bin/env bash
set -euo pipefail
[ "$#" -eq 3 ] || exit 2
sid=$1; bam=$2; out=$3
case "$sid" in *[!A-Za-z0-9_-]*|"") exit 2;; esac
mkdir "$out"
samtools quickcheck "$bam"
samtools idxstats "$bam" > "$out/idxstats.txt"
sample=$(samtools view -H "$bam" | awk -F'\t' '$1=="@RG"{for(i=2;i<=NF;i++)if($i~/^SM:/)print substr($i,4)}' | sort -u)
test "$sample" = "$sid"
gatk --java-options "-Xmx8g" HaplotypeCaller   -R /refs/GRCh38.fa -I "$bam" -L /refs/autosomes.list   --native-pair-hmm-threads 2 -ERC GVCF -O "$out/sample.g.vcf.gz"
test -s "$out/sample.g.vcf.gz" && test -s "$out/sample.g.vcf.gz.tbi" || exit 2
test "$(bcftools query -l "$out/sample.g.vcf.gz")" = "$sid"

样本数多时,参考与程序环境可只读复用,输出目录和日志仍按样本独立。若同一BAM对应多个供体、样本头缺失或混有不一致SM,先解决数据身份;这类错误不能靠换一个sample_id让检查通过。

先顺序运行,再按预算增加并发

下面启动器需要Python标准库和上述脚本。样本ID限简单字符,默认顺序执行;每次新建批次目录,失败立即停止并保留状态。完成后必须人工核对调用范围与gVCF,不把路径存在当作科学验收。

import csv, re, subprocess
from pathlib import Path
rows = list(csv.DictReader(open("samples.csv", encoding="utf-8-sig", newline="")))
ids = [r["sample_id"] for r in rows]
assert rows and len(ids) == len(set(ids))
assert all(re.fullmatch(r"[A-Za-z0-9_-]+", s) for s in ids)
assert all(Path(r["bam"]).is_absolute() and Path(r["bam"]).is_file() for r in rows)
root = Path("gvcf-batch-001"); root.mkdir(exist_ok=False)
runner = str(Path("call_one.sh").resolve())
with (root/"status.csv").open("w", newline="") as f:
    w = csv.writer(f); w.writerow(["sample_id", "exit_code"])
    for r in rows:
        out = root/r["sample_id"]
        with (root/(r["sample_id"]+".log")).open("w") as log:
            result = subprocess.run(["bash",runner,r["sample_id"],r["bam"],str(out)],
                                    stdout=log,stderr=subprocess.STDOUT)
            status = result.returncode
            expected=[out/"sample.g.vcf.gz",out/"sample.g.vcf.gz.tbi"]
            if status == 0 and not all(p.is_file() and p.stat().st_size>0 for p in expected):
                status=1
                log.write("VALIDATION_ERROR: missing or empty gVCF/index\n")
        w.writerow([r["sample_id"],status]); f.flush()
        if status: raise SystemExit("失败样本:"+r["sample_id"])

如果单任务已超过额度,先查输入、重复计算和必要工作集,再调整资源。需要并发时,以实际总RAM、CPU和临时盘共同限额,并为父进程及系统保留空间;多个8g堆并不等于多份任务只占8 GiB。先测两个代表样本重叠,再扩大队列。

先用少量样本演练一个真实失败:让单任务返回非零,确认状态表记失败且后续样本没有启动。再检查返回零但缺输出的情况,启动器也必须失败。两种情况区别在日志中保留,不能统一写成“计算完成”再靠人工寻找漏掉的文件。

恢复失败范围与交接

从status.csv定位失败与未运行样本,复核此前成功文件再决定是否排除重跑。输入、参考或调用参数变化后建立新批次,不能直接沿用旧gVCF。故障现场保留,失败样本改新目录重跑,不手写成功标记。

输出清单包含样本ID、gVCF与索引、参考、软件和区间版本。gVCF需进入兼容的联合分型步骤后才形成队列VCF,不能简单拼接不同样本文件代替联合推断。后续过滤、样本质量与变异可靠性仍按研究目标单独验收。

正式排期还应包含数据接收、前处理、复核及迁出窗口。清单中逐项填写输入校验、参考版本、调用范围、输出大小、完成时间和验收人;队列暂停恢复时先比对这些信息,避免把旧批次的同名文件算进新批次。

参考资料

需要额外算力时

适用前提:已有原始数据且希望自行运行确定的流程。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

先确定合适的计算资源

根据数据规模和分析任务,快速测算 CPU、内存、存储与 GPU 配置。

测算服务器配置仍有疑问,联系客服 ↗