云生信学生物信息学

核对模型、容器与加速步骤并跑通样例

作者:发布于 2026-11-18更新于 2026-11-15约 7 分钟阅读
核对模型、容器与加速步骤并跑通样例

核对模型、容器与加速步骤并跑通样例:下载官方最小输入并留校验;按WGS模型跑CPU入口;新目录核对单GPU路径;验收文件范围与阶段日志
本文操作与检查路径示意。

DeepVariant可以使用CPU,也可以让指定步骤使用GPU。先跑一个范围明确的官方样例,比先租更大的卡更容易定位环境错误。本篇使用1.10.0镜像及官方人类短读长测试包,只处理chr20的一小段;它用于接通流程,不代表全基因组性能或准确率结论。

先核对模型、输入与运行权限

前提是Linux上已有经允许使用的Docker,CPU支持官方预编译镜像要求的AVX,并能拉取镜像。GPU组还需可用驱动和NVIDIA容器运行时。不要直接照搬安装命令修改共享机器;先请环境维护者提供可运行的容器入口和实际资源额度。

项目 本例设置 换成自己的数据时
版本 1.10.0,记录镜像ID CPU/GPU保持同版本
模型 WGS 确认测序平台与建库类型
输入 官方已排序BAM、BAI、FASTA、FAI 与比对参考及contig相配
范围 chr20:10000000-10010000 明确目标、倍性及输出范围
加速 call_variants可用单GPU 其余阶段仍需CPU和RAM

下载完整最小输入,先跑CPU

以下新目录中下载四个必需文件,curl失败立即停止。先保存校验和,避免后续比较换了数据。官方模型已放在发布镜像内,不需要从不明来源另找权重。示例num_shards=1用于很小的测试范围,不能据此推断正式WGS的线程设置。

#!/usr/bin/env bash
set -euo pipefail
mkdir dv-input-001
url=https://storage.googleapis.com/deepvariant/quickstart-testdata
for file in NA12878_S1.chr20.10_10p1mb.bam NA12878_S1.chr20.10_10p1mb.bam.bai \
  ucsc.hg19.chr20.unittest.fasta ucsc.hg19.chr20.unittest.fasta.fai; do
  curl -fL "$url/$file" -o "dv-input-001/$file"
  test -s "dv-input-001/$file"
done
sha256sum dv-input-001/* > dv-input-001.sha256
docker pull google/deepvariant:1.10.0
docker image inspect google/deepvariant:1.10.0 > dv-cpu-image.json
mkdir dv-cpu-001
docker run --rm \
  -v "$PWD/dv-input-001:/input:ro" -v "$PWD/dv-cpu-001:/output" \
  google/deepvariant:1.10.0 /opt/deepvariant/bin/run_deepvariant \
  --model_type=WGS --ref=/input/ucsc.hg19.chr20.unittest.fasta \
  --reads=/input/NA12878_S1.chr20.10_10p1mb.bam \
  --regions "chr20:10,000,000-10,010,000" --num_shards=1 \
  --output_vcf=/output/output.vcf.gz --output_gvcf=/output/output.g.vcf.gz \
  --intermediate_results_dir=/output/intermediate --vcf_stats_report=true \
  > dv-cpu-001/run.stdout.log 2> dv-cpu-001/run.stderr.log
for file in output.vcf.gz output.vcf.gz.tbi output.g.vcf.gz output.g.vcf.gz.tbi output.visual_report.html; do
  test -s "dv-cpu-001/$file"
done

退出码为零并有上述文件后,使用bcftools query -l核对样本名,查看visual_report和全部阶段日志。输出VCF应限制在指定范围;gVCF保存参考置信信息,不能作为普通变异行数量直接比较。文件存在只是计算验收的一部分,不代表生物学质量已验证。

如只想检查将执行哪些子命令,可在入口增加dry_run=true;它会打印计划,不产生完整结果,也不能证明GPU实际可用。正式验收必须移除该参数完成运行。保留容器版本和完整日志,再核对输入校验,避免把一次打印命令当成通过试跑。

GPU组只改变设备路径

核对容器内设备可见后,将CPU命令中的镜像换成google/deepvariant:1.10.0-gpu,在docker run加入–gpus 1,并使用全新的dv-gpu-001输出目录。输入、模型、范围和shards保持不变。镜像与新目录两个挂载路径都应明确,不能让GPU组复用CPU中间文件。

官方快速开始说明只有call_variants用GPU,且一次只用一张;make_examples和postprocess_variants仍在CPU运行。num_shards控制生成样例的分片,不是GPU卡数。GPU阶段缩短也未必显著缩短整个任务,先读每阶段日志再判断。

工作目录内中间文件用于排错与复验,正式规划应计入其峰值和保存窗口。不要只看最终VCF很小就按该大小申请工作盘;输出写满或中间目录不可写时,GPU可见也不能让任务完成。

把环境错误与正式任务分开

Illegal instruction先查AVX;找不到文件先查主机绝对路径、只读挂载和容器内路径;CUDA不可见先查设备映射与运行时。Permission denied先查输出目录的实际用户和权限,不用给整盘放开写权限。失败目录保留日志,改新目录复跑。

换成自己的BAM时,重新核对排序、索引、参考与模型。DeepVariant官方输入说明不建议为它另做BQSR,不能机械套用另一调用器的前处理;其他平台、性染色体和肿瘤问题也需另核对适用方案。正式资源试验应选代表范围并保留必要质量比较,不能把本例短区间时间直接乘成全WGS承诺。

参考资料

需要额外算力时

适用前提:具体DeepVariant版本的call_variants支持获配单卡,CPU预处理、主机内存及工作盘适配,且完整流程试跑显示租用有实际收益。如需额外资源,可评估兼容单卡GPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

先确定合适的计算资源

根据数据规模和分析任务,快速测算 CPU、内存、存储与 GPU 配置。

测算服务器配置仍有疑问,联系客服 ↗