云生信学生物信息学

MarkDuplicates资源排查:排序状态、临时目录和并发实测

作者:发布于 2026-11-22更新于 2026-11-15约 6 分钟阅读
MarkDuplicates先排排序与临时盘

MarkDuplicates先排排序与临时盘:固定排序及文库信息;单次标记并保留指标;按异常定位堆、盘与句柄;比较完整任务再扩并发
本文操作与检查路径示意。

MarkDuplicates的资源排查应从排序、文库信息和临时盘开始。把Java堆调大有时能减少落盘,但不能修正读段顺序,也不意味着主机只会用同样大小的RAM。本篇限定经典Picard/GATK MarkDuplicates,为已验收的坐标排序DNA BAM建立可比较基线。

先固定去重方法与输入顺序

核对BAM实际排序与头部SO是否一致,参考序列字典和读组正确。LB描述文库,SM描述样本,不能为了降低重复率随意合并或改写。示例只标记重复,不删除;带UMI数据是否需要使用分子标签及专用流程,应由实验设计决定,不能把普通坐标重复当所有实验的正确去重方式。

检查项 本例做法 需要确认
方法 经典MarkDuplicates 与Spark或其他去重实现区分
排序 实际坐标排序并验证 不靠ASSUME_SORT_ORDER掩盖错误
内存 示例Java堆8g 本地库、非堆及进程另计
磁盘 本次专用TMP_DIR 可写空间、配额和同时任务

建立一次不覆盖旧结果的运行

需要已验收的GATK安装、samtools和GNU Time。先检查文件和运行环境,创建新工作目录与临时目录。帮助文件记录当前版默认值;不照抄别的版本中不存在的线程参数。此处8g为演示设置,需在实际获配内存范围内调整。

#!/usr/bin/env bash
set -euo pipefail
bam=/data/S1.sorted.bam
test -s "$bam"
samtools quickcheck -v "$bam"
mkdir markdup-S1-001
root="$PWD/markdup-S1-001"
mkdir "$root/tmp"
gatk --version > "$root/version.txt" 2>&1
gatk MarkDuplicates --help > "$root/help.txt" 2>&1
samtools view -H "$bam" > "$root/input.header.sam"
df -h "$root/tmp" > "$root/disk.before.txt"
/usr/bin/time -v -o "$root/resources.txt"   gatk --java-options "-Xmx8g" MarkDuplicates -I "$bam"   -O "$root/marked.bam" -M "$root/duplication.metrics.txt"   --TMP_DIR "$root/tmp" --CREATE_INDEX true --REMOVE_DUPLICATES false   > "$root/run.log" 2>&1
test -s "$root/marked.bam"
test -s "$root/duplication.metrics.txt"
samtools quickcheck -v "$root/marked.bam"
samtools flagstat "$root/marked.bam" > "$root/flagstat.txt"
samtools idxstats "$root/marked.bam" > "$root/idxstats.txt"

idxstats在缺索引时可能回退扫描,因此它不是索引存在且有效的充分证据;另按实际.bai/.csi产物检查并做小范围随机访问。quickcheck也不扫描每条比对,正式验收应保留上游格式验证。确认输出排序、读段量及重复标记后再使用下游结果。

用错误类型决定调整方向

Java堆不足需结合异常、峰值和可用RAM判断;No space left或配额错误先查临时盘;文件句柄不足先核系统限制与当前版文件句柄参数。不要把所有被终止任务都当堆太小,调大堆可能进一步挤压非堆空间或增加多任务总占用。

SORTING_COLLECTION_SIZE_RATIO影响部分排序集合,MAX_RECORDS_IN_RAM也不是整个流程的RAM上限。每次只改一个有依据的设置,保持同一输入、方法和完整结果验收,再比较墙钟、作业RAM、临时盘峰值和I/O。失败目录保留日志;确认旧进程结束后另建尝试目录。

解释重复率,再安排并发

按LIBRARY读取指标。PERCENT_DUPLICATION是比例,0.2表示约百分之二十,不是百分之零点二;还要结合未配对/配对读段、光学重复与估计文库复杂度解释。光学重复判定依赖读名和仪器设置,不能只为改善指标随意调整。

经典实现没有一个可随意添加的通用NUM_THREADS加速开关。先测一份代表数据,再测获配范围内的少量并发,观察共享盘与临时盘是否成为瓶颈。按染色体随意拆BAM可能改变配对和重复分组,不能把局部去重拼接等同整文库处理。保存输入、命令、指标与软件版本,资源结论才可复用。

若要判断临时盘峰值,应在运行期间采集目录占用;结束后目录可能已被清理,单看最终du会低估需求。df用于看文件系统整体余量,配额还需单独确认。作业被外部调度器结束时结合退出状态和内存事件,不能把缺少Java异常等同于内存没有问题。测量时保留同一排序输入与完整日志。

需要额外算力时

适用前提:输入状态正确、参数合理,实测显示计算或I/O资源不足。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗