
bcftools merge用于合并不重叠样本集合,concat用于拼接同一样本集合的有序区间。几百份VCF先判断属于哪一种,不能只选能跑通的命令。本篇限定同一参考、已规范化且适用于合并的普通VCF,按样本集合合并;gVCF联合分型和不同caller的结果整合需要另外的方法。
先统一变异表示和样本身份
输入必须采用同一组装与一致的REF/ALT表示,已完成适用的左对齐、规范化及质控;不能通过改chr字符串替代参考核对。各VCF的FORMAT/INFO定义也应相容,含义不同的字段不能仅凭同名就解释为同一指标。下面的样本唯一性检查是合并前门槛,不是完整VCF质量验收。
| 情况 | 操作方向 | 重点验收 |
|---|---|---|
| 不同样本、相同坐标体系 | merge | 样本不重名,等位基因表示一致 |
| 同样本、不同有序区间 | concat | 样本及顺序一致,区间无遗漏 |
| 同样本重复测序/多个caller | 先确定整合方案 | 不能强制改名当成新样本 |
| gVCF | 适用联合分型流程 | 不以普通merge代替联合调用 |
生成可审查的输入清单
inputs.txt每行一个已BGZF压缩、排序且有可用索引的VCF绝对路径,无表头。保存为check_samples.py执行;程序拒绝空清单、重复文件和跨文件重复样本,并保存按输入顺序展开的期望样本名。清单和期望文件都作为本轮固定输入,不边运行边修改。
from pathlib import Path
import subprocess
paths=[Path(v) for v in Path("inputs.txt").read_text().splitlines() if v]
assert paths and all(p.is_absolute() and p.is_file() for p in paths)
assert len({p.resolve() for p in paths})==len(paths)
seen=set();expected=[]
for path in paths:
names=subprocess.check_output(["bcftools","query","-l",str(path)],text=True).splitlines()
assert names and len(set(names))==len(names)
for name in names:
assert name not in seen,(name,"重复样本,先解决来源")
seen.add(name);expected.append(name)
with Path("expected.samples.txt").open("x") as out:
out.write("\n".join(expected)+"\n")
print("文件",len(paths),"样本",len(expected))
在新目录合并并核对样本
需要兼容bcftools与GNU time。示例两压缩线程仅用于展示参数;–threads主要影响输出压缩,不代表合并所有计算都能同比加速。合并后缺少某样本的位点仍是缺失,不能加–missing-to-ref将其直接当作参考型。
set -euo pipefail
python3 check_samples.py
mkdir vcf-merge-001
bcftools --version > vcf-merge-001/version.txt
/usr/bin/time -v -o vcf-merge-001/resource.txt bcftools merge \
--file-list inputs.txt --threads 2 -Oz -o vcf-merge-001/merged.vcf.gz \
> vcf-merge-001/run.log 2>&1
bcftools index -c vcf-merge-001/merged.vcf.gz
bcftools query -l vcf-merge-001/merged.vcf.gz > vcf-merge-001/actual.samples.txt
cmp expected.samples.txt vcf-merge-001/actual.samples.txt
bcftools stats vcf-merge-001/merged.vcf.gz > vcf-merge-001/stats.txt
检查合并改变了什么
先看样本名和顺序,再抽查共享位点、只在单个文件出现的位点及多等位位点。记录输出位点数、等位基因和关键FORMAT,不能要求merge前后记录数简单相加;不同文件的同一位点可以合成一条记录。样本计数通过也不代表基因型内容一定正确,需按项目检查代表位点。
重复样本错误先查是否同一患者多文件、命名冲突或清单重复,不用–force-samples自动加前缀绕过。REF冲突或字段定义错误回到规范化和来源核对,避免为让合并结束删掉报错位点。输入只有一份的统计也要记录,以便发现某批文件异常。
特别检查缺失GT与0/0的区别:某文件没有某条变异记录,可能源于覆盖、调用与过滤策略,不自动证明该样本参考纯合。下游需要完整可调用区域时,应回到相应的调用和联合分析证据,普通文件合并不能生成缺失的测序信息。
用完整代表任务测RSS、输出与临时盘,再决定是否按染色体分区组织;分区后仍需验证样本与拼接顺序。文件数多还应检查打开文件额度,但不要未经诊断就修改全局限制。保存清单、参考校验、软件版本和日志,让后续资源调整保持相同方法和相同输入。
参考资料
需要额外算力时
适用前提:样本与变异表示核对通过,批量合并的运行时间或资源超过现有能力。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
