云生信学生物信息学

按样本规模测试联合分型的磁盘与并发需求

作者:发布于 2026-11-18更新于 2026-11-15约 7 分钟阅读
按样本规模测试联合分型的磁盘与并发需求

按样本规模测试联合分型的磁盘与并发需求:固定队列和代表区间;独立目录比较导入批次;核对分型语义与总峰值;合计数据库临时盘和余量
本文操作与检查路径示意。

联合分型的资源瓶颈可能在导入、文件系统,也可能在分型阶段。先固定一份有效队列和一个明确区间,再比较参数。本文从已经验证样本身份、参考和索引的HaplotypeCaller单样本gVCF及cohort.map开始;每个输入都应保留完整参考置信信息。

把一次试验的范围写清

选择包含代表性变异与覆盖特征的chr1试验,记录样本数、文件大小、调用版本和区间。若清单少于两个样本,batch-size=1与2的对照没有预期意义;更大的正式队列仍需验证。共享盘延迟、对象存储读请求和本地SSD不能混在同一设备结论中。

试验维度 固定项目 记录结果
导入批次1与2 同一映射表、chr1、GATK版本 导入时间、总RAM、句柄、tmp峰值
后续联合分型 同参考、同一队列与区间 时间、原始VCF、样本及GT
存储条件 输入位置和workspace文件系统 I/O等待、可用空间、最终占用
候选并发 每份workspace独立 任务组RAM和盘峰值

完整比较导入和分型

以下为两组顺序试验;每组新建目录,禁止复用旧数据库。示例把堆固定8g、reader线程固定1,仅改变批次。先确认cohort.map为无表头TAB表,样本ID唯一且与gVCF头一致。GNU Time的RSS用于观察进程内存,整组或容器峰值应由平台监控补充。

#!/usr/bin/env bash
set -euo pipefail
for batch in 1 2; do
  out="db-batch-$batch-001"
  mkdir "$out"
  mkdir "$out/tmp"
  /usr/bin/time -v -o "$out/import.time.txt" \
    gatk --java-options "-Xmx8g" GenomicsDBImport \
    --sample-name-map cohort.map --genomicsdb-workspace-path "$out/db_chr1" \
    -L chr1 --batch-size "$batch" --reader-threads 1 --tmp-dir "$out/tmp" \
    > "$out/import.stdout.log" 2> "$out/import.stderr.log"
  /usr/bin/time -v -o "$out/genotype.time.txt" \
    gatk --java-options "-Xmx8g" GenotypeGVCFs -R /refs/GRCh38.fa \
    -V "gendb://$out/db_chr1" -L chr1 -O "$out/cohort.raw.vcf.gz" \
    > "$out/genotype.stdout.log" 2> "$out/genotype.stderr.log"
  test -s "$out/cohort.raw.vcf.gz"
  test -s "$out/cohort.raw.vcf.gz.tbi"
  bcftools query -l "$out/cohort.raw.vcf.gz" > "$out/samples.txt"
  bcftools query -f '%CHROM\t%POS\t%REF\t%ALT[\t%SAMPLE=%GT]\n' \
    "$out/cohort.raw.vcf.gz" > "$out/genotypes.tsv"
  du -sk "$out" > "$out/final-disk-kib.txt"
done
diff db-batch-1-001/samples.txt db-batch-2-001/samples.txt
diff db-batch-1-001/genotypes.tsv db-batch-2-001/genotypes.tsv

正常情况下资源批次不应成为改变队列含义的理由。比较时看样本、位点和基因型的语义;压缩文件的字节校验值不同不一定代表变异结果不同。上面的diff是一道初筛,不能取代完整注释、质量与可靠性核对,出现差异要留证据后解释。

为什么调小批次也可能变慢

batch-size限制一批打开的样本读取器;默认零代表不限制为小批次。较小批次可能降低部分内存与文件句柄压力,但增加批次数及数据库碎片。consolidation本身也消耗资源,不能在同一对照中顺手打开后声称只测了批次。

Java堆不是总RAM,native TileDB还有额外开销。增加并行区间、reader线程或同时启动多个workspace时,内存、句柄和I/O压力会叠加。遇到Too many open files,先记录ulimit及实际读取器需求,不能用不断加堆代替定位。多个任务共享同一账号的额度时,还要核对整个作业组的合计,不能让每个任务分别按整机资源估算。

每组记录导入开始与结束时的可用空间,运行中采样tmp及workspace目录占用,保留采样间隔。两次采样之间仍可能漏峰值,正式规格应留余量。若出现磁盘不足,不先删除输入或旧库;先确认可重建材料和保留策略,再在新目录复验。

填写完整工作盘预算

纯演算:现有输入800 GiB、两组试验数据库各120 GiB、临时峰值80 GiB、原始VCF及索引20 GiB、余量100 GiB,则同盘需要800+240+80+20+100=1240 GiB。所有数值是假设;两组目录保留时必须同时计入,du的最终值也不是运行峰值。

正式规划应再填数据迁入、失败保留和数据库迁出窗口。chr1试验不能按染色体长度直接线性预测全基因组;样本规模、变异密度、碎片与存储性能都会影响结果。只有测到明确的容量缺口,再选择更大RAM或更快工作盘,并在候选环境重验。

参考资料

需要额外算力时

适用前提:小规模验证后确认队列计算或存储容量不足。如需额外资源,可评估大内存独享CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗