
多个gVCF联合分型需要保留每个样本的参考置信信息,不能把变异行拼起来替代。本例限定同一人类参考、同一适用流程生成的短读长germline常染色体数据,用一个chr1试验把样本表、导入和分型接通。这个结果只覆盖chr1,不应标成全基因组完成。
输入合同先于目录设计
准备HaplotypeCaller以ERC GVCF或BP_RESOLUTION生成的单样本gVCF,确认相同参考组装、contig命名、分析范围与调用设置。文件应为可索引的BGZF压缩格式并有对应索引。普通VCF改扩展名、任意其他调用器的gVCF,都不能直接视为合格输入。
| 材料 | 本例组织 | 验收内容 |
|---|---|---|
| 参考 | /refs/GRCh38.fa及fai/dict | 与调用阶段完全匹配 |
| 单样本输入 | 每个样本一份gVCF及tbi | 头部只有真实样本ID |
| cohort.map | 两列TAB分隔,无表头 | ID唯一,文件绝对路径 |
| cohort-001 | 新目录含workspace和tmp | 拒绝与旧任务混写 |
cohort.map可写成S01、TAB、/data/S01.g.vcf.gz,下一行对应S02。使用真实样本ID,不通过映射表偷偷重命名。以下Python在导入前核对路径、索引、唯一性和文件头;它不替代整文件与参考置信块的质量检查。
import csv, subprocess
from pathlib import Path
rows=list(csv.reader(open("cohort.map",encoding="utf-8",newline=""),delimiter="\t"))
assert rows and all(len(r)==2 for r in rows), "需要无表头的两列TAB表"
ids=[r[0] for r in rows]
assert all(s and s.strip()==s for s in ids)
assert len(ids)==len(set(ids)), "样本ID重复"
for sid, name in rows:
path=Path(name); idx=Path(name+".tbi")
assert path.is_absolute() and all(p.is_file() and p.stat().st_size>0 for p in [path,idx])
actual=subprocess.check_output(["bcftools","query","-l",str(path)],text=True).splitlines()
assert actual==[sid], "头部样本与映射表不一致:"+sid
print("通过样本头及路径检查",len(rows))
导入前抽取一小段有覆盖的gVCF记录,查看参考置信块与格式字段是否来自约定调用流程;同时保存头部的参考、contig和调用信息。文件头样本名对了,并不证明内部位点有效。范围较窄的输入若漏掉目标区域,数据库也不会替它补回缺失证据。
只在全新workspace导入并分型
先保存GATK版本及本机帮助。下面的8g Java堆、batch-size=2和reader-threads=2只是演示;Java堆之外还需要native TileDB等内存。官方明确要求留出额外物理内存。确认本项目chr1确实存在后,在有写权限和足够空间的位置运行。
#!/usr/bin/env bash
set -euo pipefail
out=cohort-001
mkdir "$out"
mkdir "$out/tmp"
gatk --version > "$out/version.txt" 2>&1
gatk --java-options "-Xmx8g" GenomicsDBImport \
--sample-name-map cohort.map --genomicsdb-workspace-path "$out/db_chr1" \
-L chr1 --batch-size 2 --reader-threads 2 --tmp-dir "$out/tmp" \
> "$out/import.stdout.log" 2> "$out/import.stderr.log"
gatk --java-options "-Xmx8g" GenotypeGVCFs -R /refs/GRCh38.fa \
-V "gendb://$out/db_chr1" -L chr1 -O "$out/cohort.chr1.raw.vcf.gz" \
> "$out/genotype.stdout.log" 2> "$out/genotype.stderr.log"
test -s "$out/cohort.chr1.raw.vcf.gz"
test -s "$out/cohort.chr1.raw.vcf.gz.tbi"
bcftools query -l "$out/cohort.chr1.raw.vcf.gz" > "$out/output-samples.txt"
cut -f1 cohort.map | LC_ALL=C sort > "$out/expected-samples.txt"
LC_ALL=C sort "$out/output-samples.txt" > "$out/actual-samples.txt"
diff "$out/expected-samples.txt" "$out/actual-samples.txt"
bcftools stats "$out/cohort.chr1.raw.vcf.gz" > "$out/vcf-stats.txt"
GenotypeGVCFs接收这里的一个GenomicsDB输入轨道,不是在命令末尾添加多份独立gVCF。联合分型改变的是队列的分型推断;它不修复上游错样、参考不一致或缺少有效似然的信息,导入成功后仍要核对完整日志。
验收表至少填样本总数、目标contig、输入调用范围、输出范围和日志中的异常。队列内某个样本没有变异与整个样本未导入要区分;前者仍可能有参考基因型和深度,后者应在样本列表检查时被拦住,不能只统计变异记录总数。
验收与常见失败
检查输出样本集合恰好等于清单,范围确实是chr1,索引可读,并抽查预期位点的GT、DP及缺失值。有覆盖但不确定的位点不能强行填为0/0;发现异常应回看原BAM和单样本gVCF的相应区域。无变异记录不自动表示导入失败,也不能仅靠文件大小判定成功;应结合覆盖范围和日志解释。raw VCF尚需适合研究设计的过滤及样本质量评估。
若报样本冲突,先修清单和输入头;若报contig或参考不兼容,回查上游参考,不关闭验证强行通过。旧workspace已存在时换新目录,不能让两份导入同时写同一库。保留失败现场、版本和命令,再按证据处理资源或输入问题。
扩到全常染色体时,明确每个区间的完整覆盖和最终输出协议,并保留gVCF、索引、映射表、workspace与原始VCF的关系。后续新增样本应使用该版本的更新流程并复核队列结果,不把目录复制当作数据库备份已验证。
参考资料
需要额外算力时
适用前提:小规模验证后确认队列计算或存储容量不足。如需额外资源,可评估大内存独享CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
