
VCF转PLINK时先区分输入格式错误、样本编码问题和真实内存不足。PLINK2的PGEN与PLINK1的BED能力不同,不能为了兼容旧命令悄悄删去多等位信息。本篇从已验收的人类常染色体、含GT的VCF开始,生成分染色体PGEN并检查样本;dosage或性染色体分析需要另外明确导入规则。
先记录转换会保留什么
本例从GT导入,不宣称同时保留所有VCF INFO/FORMAT注释。需要DS时按官方dosage选项单独确定语义并验证,不能假定命令自动选对字段。样本ID采用显式double-id,使FID和IID均取VCF样本名;与后续表型合并时按这个规则,不凭下划线猜家系关系。
| 检查项 | 本例选择 | 验收重点 |
|---|---|---|
| 目标格式 | PLINK2 PGEN/PVAR/PSAM | 多等位与原始注释能力不同 |
| 样本 | double-id | ID唯一且与VCF顺序对应 |
| 半缺失GT | error | 先解释0/.等编码再决定处理 |
| 资源 | 两线程、4096MB工作区示例 | 不是进程总RAM上限 |
| 分批 | 染色体1和2示范 | 全项目必须列全实际染色体 |
先转换两个小范围并记录日志
需要兼容PLINK2、bcftools与GNU time。输入为BGZF VCF,示例染色体名为1、2;若文件使用chr1,应按安装版支持的名称核对,不能无依据改参考。分区转换可能仍扫描部分输入,不保证按比例降低时间。每个前缀独立,不覆盖旧结果。
set -euo pipefail
vcf=/data/cohort.vcf.gz
test -s "$vcf"
mkdir plink-convert-001
plink2 --version > plink-convert-001/version.txt
bcftools query -l "$vcf" > plink-convert-001/expected.samples.txt
for chr in 1 2; do
/usr/bin/time -v -o "plink-convert-001/chr$chr.time" plink2 \
--vcf "$vcf" --chr "$chr" --double-id --vcf-half-call error \
--make-pgen --memory 4096 --threads 2 \
--out "plink-convert-001/chr$chr" \
> "plink-convert-001/chr$chr.console.txt" 2>&1
plink2 --pfile "plink-convert-001/chr$chr" --validate \
--out "plink-convert-001/chr$chr.validate"
done
将样本标签与输出格式分别检查
在包含plink-convert-001的目录运行下段Python。它核对两个分片全部样本的FID/IID及顺序,不把不同分片的同一人当成新增样本。实际项目扩展时同步更新染色体列表;只有1、2的结果不代表全基因组已完成。
from pathlib import Path
root=Path("plink-convert-001")
expected=(root/"expected.samples.txt").read_text().splitlines()
assert expected and len(set(expected))==len(expected)
for chrom in (1,2):
rows=(root/f"chr{chrom}.psam").read_text().splitlines()
head=rows[0].lstrip("#").split();body=[v.split() for v in rows[1:] if v]
assert "FID" in head and "IID" in head
i,j=head.index("FID"),head.index("IID")
assert [r[j] for r in body]==expected
assert all(r[i]==r[j] for r in body)
print(chrom,"样本对应通过",len(body))
随后比较VCF各染色体的记录数、PVAR条目数和日志中的加载/排除原因;抽查多等位位点、缺失GT和相位。–validate检查PGEN结构,不证明转换满足科学目标。需要旧BED时,明确它对多等位、dosage等的限制,另存经过论证的转换版本及排除清单,不把有损结果替换原输入。
确认内存报错发生在哪一步
半缺失或REF/ALT错误先修格式与编码,不通过降低内存参数解决。–memory管理主要工作区,额外结构与系统开销仍存在,–memory require也不能防止运行中被OOM杀死。查看PLINK日志、调度退出原因和RSS,避免把磁盘满或无效染色体误当内存不足。
变异ID为空或重复时,先决定下游需要何种唯一键。按染色体、位置、REF、ALT组合建标识时,保留旧ID映射并处理多等位,不能简单按位置去重把不同等位基因删掉。转换成功后还应抽查若干个体在这些位点的GT与缺失状态,避免仅比较条目数。
PVAR与PSAM是解释PGEN所必需的配套文件,交接时以同一前缀整套保存并校验。只复制pgen而从另一批借同名标签,可能把样本或变异解释错;三份文件都可读也要确认来自同一轮输出。
下游能按染色体分析时可保留分片,减少重复合成巨大文件;必须合并时按安装版pmerge规则检查同样本、位点表示和顺序,并重新测峰值。资源试跑固定输入、线程及工作区,记录同时运行任务总量;不能仅根据压缩VCF体积推断解码、索引和转换所需内存。
参考资料
需要额外算力时
适用前提:排除格式和编码问题后,必要转换步骤的实测峰值超出可用内存。如需额外资源,可评估大内存CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
