
MarkDuplicates的资源排查应从排序、文库信息和临时盘开始。把Java堆调大有时能减少落盘,但不能修正读段顺序,也不意味着主机只会用同样大小的RAM。本篇限定经典Picard/GATK MarkDuplicates,为已验收的坐标排序DNA BAM建立可比较基线。
先固定去重方法与输入顺序
核对BAM实际排序与头部SO是否一致,参考序列字典和读组正确。LB描述文库,SM描述样本,不能为了降低重复率随意合并或改写。示例只标记重复,不删除;带UMI数据是否需要使用分子标签及专用流程,应由实验设计决定,不能把普通坐标重复当所有实验的正确去重方式。
| 检查项 | 本例做法 | 需要确认 |
|---|---|---|
| 方法 | 经典MarkDuplicates | 与Spark或其他去重实现区分 |
| 排序 | 实际坐标排序并验证 | 不靠ASSUME_SORT_ORDER掩盖错误 |
| 内存 | 示例Java堆8g | 本地库、非堆及进程另计 |
| 磁盘 | 本次专用TMP_DIR | 可写空间、配额和同时任务 |
建立一次不覆盖旧结果的运行
需要已验收的GATK安装、samtools和GNU Time。先检查文件和运行环境,创建新工作目录与临时目录。帮助文件记录当前版默认值;不照抄别的版本中不存在的线程参数。此处8g为演示设置,需在实际获配内存范围内调整。
#!/usr/bin/env bash
set -euo pipefail
bam=/data/S1.sorted.bam
test -s "$bam"
samtools quickcheck -v "$bam"
mkdir markdup-S1-001
root="$PWD/markdup-S1-001"
mkdir "$root/tmp"
gatk --version > "$root/version.txt" 2>&1
gatk MarkDuplicates --help > "$root/help.txt" 2>&1
samtools view -H "$bam" > "$root/input.header.sam"
df -h "$root/tmp" > "$root/disk.before.txt"
/usr/bin/time -v -o "$root/resources.txt" gatk --java-options "-Xmx8g" MarkDuplicates -I "$bam" -O "$root/marked.bam" -M "$root/duplication.metrics.txt" --TMP_DIR "$root/tmp" --CREATE_INDEX true --REMOVE_DUPLICATES false > "$root/run.log" 2>&1
test -s "$root/marked.bam"
test -s "$root/duplication.metrics.txt"
samtools quickcheck -v "$root/marked.bam"
samtools flagstat "$root/marked.bam" > "$root/flagstat.txt"
samtools idxstats "$root/marked.bam" > "$root/idxstats.txt"
idxstats在缺索引时可能回退扫描,因此它不是索引存在且有效的充分证据;另按实际.bai/.csi产物检查并做小范围随机访问。quickcheck也不扫描每条比对,正式验收应保留上游格式验证。确认输出排序、读段量及重复标记后再使用下游结果。
用错误类型决定调整方向
Java堆不足需结合异常、峰值和可用RAM判断;No space left或配额错误先查临时盘;文件句柄不足先核系统限制与当前版文件句柄参数。不要把所有被终止任务都当堆太小,调大堆可能进一步挤压非堆空间或增加多任务总占用。
SORTING_COLLECTION_SIZE_RATIO影响部分排序集合,MAX_RECORDS_IN_RAM也不是整个流程的RAM上限。每次只改一个有依据的设置,保持同一输入、方法和完整结果验收,再比较墙钟、作业RAM、临时盘峰值和I/O。失败目录保留日志;确认旧进程结束后另建尝试目录。
解释重复率,再安排并发
按LIBRARY读取指标。PERCENT_DUPLICATION是比例,0.2表示约百分之二十,不是百分之零点二;还要结合未配对/配对读段、光学重复与估计文库复杂度解释。光学重复判定依赖读名和仪器设置,不能只为改善指标随意调整。
经典实现没有一个可随意添加的通用NUM_THREADS加速开关。先测一份代表数据,再测获配范围内的少量并发,观察共享盘与临时盘是否成为瓶颈。按染色体随意拆BAM可能改变配对和重复分组,不能把局部去重拼接等同整文库处理。保存输入、命令、指标与软件版本,资源结论才可复用。
若要判断临时盘峰值,应在运行期间采集目录占用;结束后目录可能已被清理,单看最终du会低估需求。df用于看文件系统整体余量,配额还需单独确认。作业被外部调度器结束时结合退出状态和内存事件,不能把缺少Java异常等同于内存没有问题。测量时保留同一排序输入与完整日志。
需要额外算力时
适用前提:输入状态正确、参数合理,实测显示计算或I/O资源不足。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
