云生信学生物信息学

按工具版本组织样本表、区间与中间数据

作者:发布于 2026-11-18更新于 2026-11-15约 9 分钟阅读
按工具版本组织样本表、区间与中间数据

按工具版本组织样本表、区间与中间数据:核对单样本gVCF与参考;验证TAB样本表和文件头;新workspace导入chr1;联合分型后核对样本集合
本文操作与检查路径示意。

多个gVCF联合分型需要保留每个样本的参考置信信息,不能把变异行拼起来替代。本例限定同一人类参考、同一适用流程生成的短读长germline常染色体数据,用一个chr1试验把样本表、导入和分型接通。这个结果只覆盖chr1,不应标成全基因组完成。

输入合同先于目录设计

准备HaplotypeCaller以ERC GVCF或BP_RESOLUTION生成的单样本gVCF,确认相同参考组装、contig命名、分析范围与调用设置。文件应为可索引的BGZF压缩格式并有对应索引。普通VCF改扩展名、任意其他调用器的gVCF,都不能直接视为合格输入。

材料 本例组织 验收内容
参考 /refs/GRCh38.fa及fai/dict 与调用阶段完全匹配
单样本输入 每个样本一份gVCF及tbi 头部只有真实样本ID
cohort.map 两列TAB分隔,无表头 ID唯一,文件绝对路径
cohort-001 新目录含workspace和tmp 拒绝与旧任务混写

cohort.map可写成S01、TAB、/data/S01.g.vcf.gz,下一行对应S02。使用真实样本ID,不通过映射表偷偷重命名。以下Python在导入前核对路径、索引、唯一性和文件头;它不替代整文件与参考置信块的质量检查。

import csv, subprocess
from pathlib import Path
rows=list(csv.reader(open("cohort.map",encoding="utf-8",newline=""),delimiter="\t"))
assert rows and all(len(r)==2 for r in rows), "需要无表头的两列TAB表"
ids=[r[0] for r in rows]
assert all(s and s.strip()==s for s in ids)
assert len(ids)==len(set(ids)), "样本ID重复"
for sid, name in rows:
    path=Path(name); idx=Path(name+".tbi")
    assert path.is_absolute() and all(p.is_file() and p.stat().st_size>0 for p in [path,idx])
    actual=subprocess.check_output(["bcftools","query","-l",str(path)],text=True).splitlines()
    assert actual==[sid], "头部样本与映射表不一致:"+sid
print("通过样本头及路径检查",len(rows))

导入前抽取一小段有覆盖的gVCF记录,查看参考置信块与格式字段是否来自约定调用流程;同时保存头部的参考、contig和调用信息。文件头样本名对了,并不证明内部位点有效。范围较窄的输入若漏掉目标区域,数据库也不会替它补回缺失证据。

只在全新workspace导入并分型

先保存GATK版本及本机帮助。下面的8g Java堆、batch-size=2和reader-threads=2只是演示;Java堆之外还需要native TileDB等内存。官方明确要求留出额外物理内存。确认本项目chr1确实存在后,在有写权限和足够空间的位置运行。

#!/usr/bin/env bash
set -euo pipefail
out=cohort-001
mkdir "$out"
mkdir "$out/tmp"
gatk --version > "$out/version.txt" 2>&1
gatk --java-options "-Xmx8g" GenomicsDBImport \
  --sample-name-map cohort.map --genomicsdb-workspace-path "$out/db_chr1" \
  -L chr1 --batch-size 2 --reader-threads 2 --tmp-dir "$out/tmp" \
  > "$out/import.stdout.log" 2> "$out/import.stderr.log"
gatk --java-options "-Xmx8g" GenotypeGVCFs -R /refs/GRCh38.fa \
  -V "gendb://$out/db_chr1" -L chr1 -O "$out/cohort.chr1.raw.vcf.gz" \
  > "$out/genotype.stdout.log" 2> "$out/genotype.stderr.log"
test -s "$out/cohort.chr1.raw.vcf.gz"
test -s "$out/cohort.chr1.raw.vcf.gz.tbi"
bcftools query -l "$out/cohort.chr1.raw.vcf.gz" > "$out/output-samples.txt"
cut -f1 cohort.map | LC_ALL=C sort > "$out/expected-samples.txt"
LC_ALL=C sort "$out/output-samples.txt" > "$out/actual-samples.txt"
diff "$out/expected-samples.txt" "$out/actual-samples.txt"
bcftools stats "$out/cohort.chr1.raw.vcf.gz" > "$out/vcf-stats.txt"

GenotypeGVCFs接收这里的一个GenomicsDB输入轨道,不是在命令末尾添加多份独立gVCF。联合分型改变的是队列的分型推断;它不修复上游错样、参考不一致或缺少有效似然的信息,导入成功后仍要核对完整日志。

验收表至少填样本总数、目标contig、输入调用范围、输出范围和日志中的异常。队列内某个样本没有变异与整个样本未导入要区分;前者仍可能有参考基因型和深度,后者应在样本列表检查时被拦住,不能只统计变异记录总数。

验收与常见失败

检查输出样本集合恰好等于清单,范围确实是chr1,索引可读,并抽查预期位点的GT、DP及缺失值。有覆盖但不确定的位点不能强行填为0/0;发现异常应回看原BAM和单样本gVCF的相应区域。无变异记录不自动表示导入失败,也不能仅靠文件大小判定成功;应结合覆盖范围和日志解释。raw VCF尚需适合研究设计的过滤及样本质量评估。

若报样本冲突,先修清单和输入头;若报contig或参考不兼容,回查上游参考,不关闭验证强行通过。旧workspace已存在时换新目录,不能让两份导入同时写同一库。保留失败现场、版本和命令,再按证据处理资源或输入问题。

扩到全常染色体时,明确每个区间的完整覆盖和最终输出协议,并保留gVCF、索引、映射表、workspace与原始VCF的关系。后续新增样本应使用该版本的更新流程并复核队列结果,不把目录复制当作数据库备份已验证。

参考资料

需要额外算力时

适用前提:小规模验证后确认队列计算或存储容量不足。如需额外资源,可评估大内存独享CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗