
BWA-MEM2批量比对需要兼容CPU、相符索引、足够内存和能承受排序的工作盘。核心多,不能修复索引不匹配或错误的成对输入。下面建立一个可检查的单样本入口,再把它作为批量运行基准。示例面向已质控的短读长双端DNA数据,不直接套到长读长、RNA剪接比对或后续变异检测。
先固定参考和程序构建
记录BWA-MEM2版本或发布包、CPU架构和指令集。官方预编译入口可按支持的SIMD实现选择运行路径,仍须确认构建能在当前CPU上启动。索引应由兼容的BWA-MEM2版本产生,不能把原BWA索引当作等价输入;升级索引结构后是否需要重建,按对应版本说明核对。
uname -m
lscpu
bwa-mem2 2> bwa-mem2-help.txt
samtools --version
# 有已验证索引时不重复覆盖;在独立参考目录执行建索引
# bwa-mem2 index -p /project/reference/refindex /project/reference/ref.fa
| 输入或资源 | 运行前核对 | 失败时先检查 |
|---|---|---|
| 参考与索引 | 版本、前缀、文件完整性 | 找不到索引或前缀路径错误 |
| FASTQ配对 | 同一样本、读段对应、文件完整 | R1/R2错配、截断或空文件 |
| CPU与内存 | 比对和排序同时运行的总额度 | 指令集错误、内存限额 |
| 工作盘 | BAM与排序临时文件共存 | 目录、挂载点、容量和inode |
准备试跑输入时,应从同一样本同步选择对应的R1/R2记录,不能分别随机抽取两端后当作配对数据。压缩完整性可先用gzip -t检查,但它不会证明FASTQ记录合法、读段名称对应或样本身份正确;还需要按项目既定质控检查。先在小输入验证流程,再用正式规模测容量。
参考建索引与读段比对是两个阶段,资源需求不必相同。若需要新建索引,应单独记录耗时、内存和索引文件大小;已经验证的共享参考保持只读,不让每个样本任务重复创建或覆盖同一前缀。
保存带失败传播的入口
将下例保存为align_pilot.sh,在Bash下传入样本ID、索引前缀、R1和R2路径。样本ID限定为字母数字等字符,输出目录必须全新。read group中的LB/PU要换成真实文库和测序单元,不能把多文库多lane伪装成一个来源。
#!/usr/bin/env bash
set -euo pipefail
sample="$1"; ref="$2"; r1="$3"; r2="$4"
[[ "$sample" =~ ^[A-Za-z0-9][A-Za-z0-9_.-]*$ ]] || exit 2
[[ -s "$r1" && -s "$r2" ]] || exit 2
mkdir -p runs
out="runs/$sample"
mkdir "$out"
rg="@RG\tID:${sample}.run1\tSM:${sample}\tLB:library1\tPL:ILLUMINA\tPU:unit1"
bwa-mem2 mem -t 4 -R "$rg" "$ref" "$r1" "$r2" \
2> "$out/align.log" \
| samtools sort -@ 1 -m 1G -T "$out/sort-tmp" \
-o "$out/aligned.bam" - 2> "$out/sort.log"
samtools quickcheck -v "$out/aligned.bam"
count=$(samtools view -c "$out/aligned.bam")
if (( count == 0 )); then echo 'ERROR: empty BAM' >&2; exit 1; fi
samtools index "$out/aligned.bam"
samtools flagstat "$out/aligned.bam" > "$out/flagstat.txt"
printf '%s\n' "$count" > "$out/alignment-records.txt"
touch "$out/COMPLETED"
4个比对线程与sort的线程设置只是试跑档位,不是硬件推荐。sort的-@设置排序和压缩线程数,不能机械套用其他子命令的“额外线程”含义。管道两端会同时消耗CPU和内存,sort的-m也不是整条流水线的总内存上限。不要只按-t把一台机器全部CPU重复分给每个样本。
检查完成标记,也检查结果
用新样本ID运行一次,保留终端退出码和两段日志。COMPLETED只在前面命令全部成功后产生;重跑用新目录,或先人工确认旧输出处理规则,不在失败目录直接补标记。quickcheck主要做头部和文件末端等快速检查,不遍历整个BAM,也不验证生物学质量。
进一步确认索引存在、flagstat可读、记录数非零、read group样本名正确,并结合输入量解释比对比例、配对和异常记录。比对记录数不必等于FASTQ读段数,次级或补充比对会影响统计。不要把一个固定比对率作为所有物种和样本的门槛。
单样本通过后再扩展
对代表性正式规模测耗时、任务峰值和排序临时空间,记录参考是否来自本地工作盘。出现Illegal instruction先查构建与CPU;找不到索引先查前缀;内存终止先查同机并发与限额。只有这些条件清楚,才规划批量样本与服务器资源。BAM可用不代表已完成去重、质控或变异检测。
需要额外算力时
适用前提:兼容性符合要求且批量任务超出本地能力。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
