
DeepVariant可以使用CPU,也可以让指定步骤使用GPU。先跑一个范围明确的官方样例,比先租更大的卡更容易定位环境错误。本篇使用1.10.0镜像及官方人类短读长测试包,只处理chr20的一小段;它用于接通流程,不代表全基因组性能或准确率结论。
先核对模型、输入与运行权限
前提是Linux上已有经允许使用的Docker,CPU支持官方预编译镜像要求的AVX,并能拉取镜像。GPU组还需可用驱动和NVIDIA容器运行时。不要直接照搬安装命令修改共享机器;先请环境维护者提供可运行的容器入口和实际资源额度。
| 项目 | 本例设置 | 换成自己的数据时 |
|---|---|---|
| 版本 | 1.10.0,记录镜像ID | CPU/GPU保持同版本 |
| 模型 | WGS | 确认测序平台与建库类型 |
| 输入 | 官方已排序BAM、BAI、FASTA、FAI | 与比对参考及contig相配 |
| 范围 | chr20:10000000-10010000 | 明确目标、倍性及输出范围 |
| 加速 | call_variants可用单GPU | 其余阶段仍需CPU和RAM |
下载完整最小输入,先跑CPU
以下新目录中下载四个必需文件,curl失败立即停止。先保存校验和,避免后续比较换了数据。官方模型已放在发布镜像内,不需要从不明来源另找权重。示例num_shards=1用于很小的测试范围,不能据此推断正式WGS的线程设置。
#!/usr/bin/env bash
set -euo pipefail
mkdir dv-input-001
url=https://storage.googleapis.com/deepvariant/quickstart-testdata
for file in NA12878_S1.chr20.10_10p1mb.bam NA12878_S1.chr20.10_10p1mb.bam.bai \
ucsc.hg19.chr20.unittest.fasta ucsc.hg19.chr20.unittest.fasta.fai; do
curl -fL "$url/$file" -o "dv-input-001/$file"
test -s "dv-input-001/$file"
done
sha256sum dv-input-001/* > dv-input-001.sha256
docker pull google/deepvariant:1.10.0
docker image inspect google/deepvariant:1.10.0 > dv-cpu-image.json
mkdir dv-cpu-001
docker run --rm \
-v "$PWD/dv-input-001:/input:ro" -v "$PWD/dv-cpu-001:/output" \
google/deepvariant:1.10.0 /opt/deepvariant/bin/run_deepvariant \
--model_type=WGS --ref=/input/ucsc.hg19.chr20.unittest.fasta \
--reads=/input/NA12878_S1.chr20.10_10p1mb.bam \
--regions "chr20:10,000,000-10,010,000" --num_shards=1 \
--output_vcf=/output/output.vcf.gz --output_gvcf=/output/output.g.vcf.gz \
--intermediate_results_dir=/output/intermediate --vcf_stats_report=true \
> dv-cpu-001/run.stdout.log 2> dv-cpu-001/run.stderr.log
for file in output.vcf.gz output.vcf.gz.tbi output.g.vcf.gz output.g.vcf.gz.tbi output.visual_report.html; do
test -s "dv-cpu-001/$file"
done
退出码为零并有上述文件后,使用bcftools query -l核对样本名,查看visual_report和全部阶段日志。输出VCF应限制在指定范围;gVCF保存参考置信信息,不能作为普通变异行数量直接比较。文件存在只是计算验收的一部分,不代表生物学质量已验证。
如只想检查将执行哪些子命令,可在入口增加dry_run=true;它会打印计划,不产生完整结果,也不能证明GPU实际可用。正式验收必须移除该参数完成运行。保留容器版本和完整日志,再核对输入校验,避免把一次打印命令当成通过试跑。
GPU组只改变设备路径
核对容器内设备可见后,将CPU命令中的镜像换成google/deepvariant:1.10.0-gpu,在docker run加入–gpus 1,并使用全新的dv-gpu-001输出目录。输入、模型、范围和shards保持不变。镜像与新目录两个挂载路径都应明确,不能让GPU组复用CPU中间文件。
官方快速开始说明只有call_variants用GPU,且一次只用一张;make_examples和postprocess_variants仍在CPU运行。num_shards控制生成样例的分片,不是GPU卡数。GPU阶段缩短也未必显著缩短整个任务,先读每阶段日志再判断。
工作目录内中间文件用于排错与复验,正式规划应计入其峰值和保存窗口。不要只看最终VCF很小就按该大小申请工作盘;输出写满或中间目录不可写时,GPU可见也不能让任务完成。
把环境错误与正式任务分开
Illegal instruction先查AVX;找不到文件先查主机绝对路径、只读挂载和容器内路径;CUDA不可见先查设备映射与运行时。Permission denied先查输出目录的实际用户和权限,不用给整盘放开写权限。失败目录保留日志,改新目录复跑。
换成自己的BAM时,重新核对排序、索引、参考与模型。DeepVariant官方输入说明不建议为它另做BQSR,不能机械套用另一调用器的前处理;其他平台、性染色体和肿瘤问题也需另核对适用方案。正式资源试验应选代表范围并保留必要质量比较,不能把本例短区间时间直接乘成全WGS承诺。
参考资料
需要额外算力时
适用前提:具体DeepVariant版本的call_variants支持获配单卡,CPU预处理、主机内存及工作盘适配,且完整流程试跑显示租用有实际收益。如需额外资源,可评估兼容单卡GPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
