
联合分型的资源瓶颈可能在导入、文件系统,也可能在分型阶段。先固定一份有效队列和一个明确区间,再比较参数。本文从已经验证样本身份、参考和索引的HaplotypeCaller单样本gVCF及cohort.map开始;每个输入都应保留完整参考置信信息。
把一次试验的范围写清
选择包含代表性变异与覆盖特征的chr1试验,记录样本数、文件大小、调用版本和区间。若清单少于两个样本,batch-size=1与2的对照没有预期意义;更大的正式队列仍需验证。共享盘延迟、对象存储读请求和本地SSD不能混在同一设备结论中。
| 试验维度 | 固定项目 | 记录结果 |
|---|---|---|
| 导入批次1与2 | 同一映射表、chr1、GATK版本 | 导入时间、总RAM、句柄、tmp峰值 |
| 后续联合分型 | 同参考、同一队列与区间 | 时间、原始VCF、样本及GT |
| 存储条件 | 输入位置和workspace文件系统 | I/O等待、可用空间、最终占用 |
| 候选并发 | 每份workspace独立 | 任务组RAM和盘峰值 |
完整比较导入和分型
以下为两组顺序试验;每组新建目录,禁止复用旧数据库。示例把堆固定8g、reader线程固定1,仅改变批次。先确认cohort.map为无表头TAB表,样本ID唯一且与gVCF头一致。GNU Time的RSS用于观察进程内存,整组或容器峰值应由平台监控补充。
#!/usr/bin/env bash
set -euo pipefail
for batch in 1 2; do
out="db-batch-$batch-001"
mkdir "$out"
mkdir "$out/tmp"
/usr/bin/time -v -o "$out/import.time.txt" \
gatk --java-options "-Xmx8g" GenomicsDBImport \
--sample-name-map cohort.map --genomicsdb-workspace-path "$out/db_chr1" \
-L chr1 --batch-size "$batch" --reader-threads 1 --tmp-dir "$out/tmp" \
> "$out/import.stdout.log" 2> "$out/import.stderr.log"
/usr/bin/time -v -o "$out/genotype.time.txt" \
gatk --java-options "-Xmx8g" GenotypeGVCFs -R /refs/GRCh38.fa \
-V "gendb://$out/db_chr1" -L chr1 -O "$out/cohort.raw.vcf.gz" \
> "$out/genotype.stdout.log" 2> "$out/genotype.stderr.log"
test -s "$out/cohort.raw.vcf.gz"
test -s "$out/cohort.raw.vcf.gz.tbi"
bcftools query -l "$out/cohort.raw.vcf.gz" > "$out/samples.txt"
bcftools query -f '%CHROM\t%POS\t%REF\t%ALT[\t%SAMPLE=%GT]\n' \
"$out/cohort.raw.vcf.gz" > "$out/genotypes.tsv"
du -sk "$out" > "$out/final-disk-kib.txt"
done
diff db-batch-1-001/samples.txt db-batch-2-001/samples.txt
diff db-batch-1-001/genotypes.tsv db-batch-2-001/genotypes.tsv
正常情况下资源批次不应成为改变队列含义的理由。比较时看样本、位点和基因型的语义;压缩文件的字节校验值不同不一定代表变异结果不同。上面的diff是一道初筛,不能取代完整注释、质量与可靠性核对,出现差异要留证据后解释。
为什么调小批次也可能变慢
batch-size限制一批打开的样本读取器;默认零代表不限制为小批次。较小批次可能降低部分内存与文件句柄压力,但增加批次数及数据库碎片。consolidation本身也消耗资源,不能在同一对照中顺手打开后声称只测了批次。
Java堆不是总RAM,native TileDB还有额外开销。增加并行区间、reader线程或同时启动多个workspace时,内存、句柄和I/O压力会叠加。遇到Too many open files,先记录ulimit及实际读取器需求,不能用不断加堆代替定位。多个任务共享同一账号的额度时,还要核对整个作业组的合计,不能让每个任务分别按整机资源估算。
每组记录导入开始与结束时的可用空间,运行中采样tmp及workspace目录占用,保留采样间隔。两次采样之间仍可能漏峰值,正式规格应留余量。若出现磁盘不足,不先删除输入或旧库;先确认可重建材料和保留策略,再在新目录复验。
填写完整工作盘预算
纯演算:现有输入800 GiB、两组试验数据库各120 GiB、临时峰值80 GiB、原始VCF及索引20 GiB、余量100 GiB,则同盘需要800+240+80+20+100=1240 GiB。所有数值是假设;两组目录保留时必须同时计入,du的最终值也不是运行峰值。
正式规划应再填数据迁入、失败保留和数据库迁出窗口。chr1试验不能按染色体长度直接线性预测全基因组;样本规模、变异密度、碎片与存储性能都会影响结果。只有测到明确的容量缺口,再选择更大RAM或更快工作盘,并在候选环境重验。
参考资料
需要额外算力时
适用前提:小规模验证后确认队列计算或存储容量不足。如需额外资源,可评估大内存独享CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
