云生信学生物信息学

按覆盖深度安排CPU批次、工作盘和结果校验

作者:发布于 2026-11-18更新于 2026-11-15约 5 分钟阅读
批量长读长先测覆盖与峰值

批量长读长先测覆盖与峰值:统一覆盖统计定义;分别记录比对与调用;填写三类并发上限;小批次检查共享盘竞争
本文操作与检查路径示意。

长读长批量任务的容量,不能只由“多少个样本”决定。参考大小、read数与长度、有效覆盖、比对预设和变异类型都会改变开销。本篇从已有坐标排序BAM测覆盖,再把比对、排序、SV调用分成资源表;目标是排出一批可完成的CPU任务。

用同一种定义记录覆盖

下面读取一个已验证且有索引的单样本BAM,按全部参考位置计算平均覆盖。samtools depth的-aa包括未覆盖序列,否则只平均有覆盖的位置会高估。显式排除补充比对,其他默认排除项保留;此定义只是排程辅助,不等于caller内部有效覆盖或所有研究的质量标准。

set -euo pipefail
bam=/results/S1.bam
test -s "$bam"
mkdir S1-depth-audit1
cd S1-depth-audit1
samtools --version > version.txt
samtools quickcheck "$bam"
samtools depth -aa -G 0x800 "$bam" |
  awk '{total+=$3; n++; if($3>0) covered++}
  END {if(n==0) exit 2;
    print "positions",n;
    print "mean_depth",total/n;
    print "covered_fraction",covered/n}' > coverage.txt
samtools idxstats "$bam" > contigs.tsv

这里-G增加排除SUPPLEMENTARY,默认仍排除未比对、secondary、QCFAIL与duplicate。未设置额外质量阈值,若项目采用BQ/MQ阈值应记录并保持一致;depth的-q是碱基质量,-Q是比对质量,别抄成mpileup的含义。全基因组逐位计算可能耗时,不能假装免费完成。

分别测三个阶段

从本项目选典型与较高数据量样本,先单任务运行已验证流程,记录墙钟、主机内存、CPU使用和工作盘高水位。排序管道内minimap2与samtools同时存在,sort的-m近似每线程内存;不能把两个time输出中较小的一个当作总内存。若平台能记录整个作业的资源,优先同时留作业级证据。

阶段 本项目记录 并发前核对
比对+排序 preset____;线程分配____;作业峰值____ 两程序同时用CPU/RAM;临时盘与BAM并存
SV调用 Sniffles版本____;线程____;峰值____ 更高线程可能增加内存
数据范围 参考____;输入碱基____;覆盖定义____ 低覆盖试跑不能证明正式结果质量
保存与回传 BAM/index/VCF/log____;时间____ 校验完成前保留可重做输入

填写批次上限,而不是只填线程

把可用额度扣除其他任务与约定余量,再用同类单任务实测需求计算候选并发。CPU取两程序重叠时的实际预算,RAM与盘也分别相除向下取整,三者最小值才是待验证候选。下面都是教学数字,不代表任一服务器或真实基因组基准。

import math
usable = {"cpu": 24, "ram_gib": 120, "work_gib": 700}
one_job = {"cpu": 8, "ram_gib": 45, "work_gib": 260}
assert all(v > 0 for v in one_job.values())
limits = {k: math.floor(usable[k]/one_job[k]) for k in usable}
print("教学上限", limits, "待验证并发", min(limits.values()))

小批次验收与异常分流

先两任务或候选范围内更小批次验证总耗时、峰值和共享盘竞争;跑完核对每个样本独立目录、索引、VCF样本列和失败状态。一个样本失败不要把全批标成完成。若排序频繁写临时块,查-m、线程与盘;若SV调用内存上升,查线程与覆盖,不靠删掉高覆盖区域让任务结束。

按高数据量样本调整下一批,并给验收、返工和回传留时间。只有明确参考、方法与有效覆盖范围后,单样本测量才可用于容量选择;跨物种或改变caller时重新测量。

平均覆盖的分母来自BAM参考序列范围,加入大量decoy、替代序列或不同参考组装会改变解释。若项目只关心特定染色体或区域,应另定义并保留目标区间及过滤参数,不把本例全参考平均值与别人目标区均值混比。idxstats可用于核对各contig长度、映射计数及未比对记录,但映射记录数也不是碱基覆盖。

参考资料

需要额外算力时

适用前提:原始数据与方法明确且本地计算能力不足。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗