云生信学生物信息学

核对索引、指令集与线程并运行样本比对

作者:发布于 2026-11-18更新于 2026-11-15约 7 分钟阅读
先跑通可验收的BWA-MEM2入口

先跑通可验收的BWA-MEM2入口:固定构建与兼容索引;比对排序分别保存日志;检查BAM索引和统计;测单任务再扩到批量
本文操作与检查路径示意。

BWA-MEM2批量比对需要兼容CPU、相符索引、足够内存和能承受排序的工作盘。核心多,不能修复索引不匹配或错误的成对输入。下面建立一个可检查的单样本入口,再把它作为批量运行基准。示例面向已质控的短读长双端DNA数据,不直接套到长读长、RNA剪接比对或后续变异检测。

先固定参考和程序构建

记录BWA-MEM2版本或发布包、CPU架构和指令集。官方预编译入口可按支持的SIMD实现选择运行路径,仍须确认构建能在当前CPU上启动。索引应由兼容的BWA-MEM2版本产生,不能把原BWA索引当作等价输入;升级索引结构后是否需要重建,按对应版本说明核对。

uname -m
lscpu
bwa-mem2 2> bwa-mem2-help.txt
samtools --version
# 有已验证索引时不重复覆盖;在独立参考目录执行建索引
# bwa-mem2 index -p /project/reference/refindex /project/reference/ref.fa
输入或资源 运行前核对 失败时先检查
参考与索引 版本、前缀、文件完整性 找不到索引或前缀路径错误
FASTQ配对 同一样本、读段对应、文件完整 R1/R2错配、截断或空文件
CPU与内存 比对和排序同时运行的总额度 指令集错误、内存限额
工作盘 BAM与排序临时文件共存 目录、挂载点、容量和inode

准备试跑输入时,应从同一样本同步选择对应的R1/R2记录,不能分别随机抽取两端后当作配对数据。压缩完整性可先用gzip -t检查,但它不会证明FASTQ记录合法、读段名称对应或样本身份正确;还需要按项目既定质控检查。先在小输入验证流程,再用正式规模测容量。

参考建索引与读段比对是两个阶段,资源需求不必相同。若需要新建索引,应单独记录耗时、内存和索引文件大小;已经验证的共享参考保持只读,不让每个样本任务重复创建或覆盖同一前缀。

保存带失败传播的入口

将下例保存为align_pilot.sh,在Bash下传入样本ID、索引前缀、R1和R2路径。样本ID限定为字母数字等字符,输出目录必须全新。read group中的LB/PU要换成真实文库和测序单元,不能把多文库多lane伪装成一个来源。

#!/usr/bin/env bash
set -euo pipefail
sample="$1"; ref="$2"; r1="$3"; r2="$4"
[[ "$sample" =~ ^[A-Za-z0-9][A-Za-z0-9_.-]*$ ]] || exit 2
[[ -s "$r1" && -s "$r2" ]] || exit 2
mkdir -p runs
out="runs/$sample"
mkdir "$out"
rg="@RG\tID:${sample}.run1\tSM:${sample}\tLB:library1\tPL:ILLUMINA\tPU:unit1"
bwa-mem2 mem -t 4 -R "$rg" "$ref" "$r1" "$r2" \
  2> "$out/align.log" \
  | samtools sort -@ 1 -m 1G -T "$out/sort-tmp" \
      -o "$out/aligned.bam" - 2> "$out/sort.log"
samtools quickcheck -v "$out/aligned.bam"
count=$(samtools view -c "$out/aligned.bam")
if (( count == 0 )); then echo 'ERROR: empty BAM' >&2; exit 1; fi
samtools index "$out/aligned.bam"
samtools flagstat "$out/aligned.bam" > "$out/flagstat.txt"
printf '%s\n' "$count" > "$out/alignment-records.txt"
touch "$out/COMPLETED"

4个比对线程与sort的线程设置只是试跑档位,不是硬件推荐。sort的-@设置排序和压缩线程数,不能机械套用其他子命令的“额外线程”含义。管道两端会同时消耗CPU和内存,sort的-m也不是整条流水线的总内存上限。不要只按-t把一台机器全部CPU重复分给每个样本。

检查完成标记,也检查结果

用新样本ID运行一次,保留终端退出码和两段日志。COMPLETED只在前面命令全部成功后产生;重跑用新目录,或先人工确认旧输出处理规则,不在失败目录直接补标记。quickcheck主要做头部和文件末端等快速检查,不遍历整个BAM,也不验证生物学质量。

进一步确认索引存在、flagstat可读、记录数非零、read group样本名正确,并结合输入量解释比对比例、配对和异常记录。比对记录数不必等于FASTQ读段数,次级或补充比对会影响统计。不要把一个固定比对率作为所有物种和样本的门槛。

单样本通过后再扩展

对代表性正式规模测耗时、任务峰值和排序临时空间,记录参考是否来自本地工作盘。出现Illegal instruction先查构建与CPU;找不到索引先查前缀;内存终止先查同机并发与限额。只有这些条件清楚,才规划批量样本与服务器资源。BAM可用不代表已完成去重、质控或变异检测。

需要额外算力时

适用前提:兼容性符合要求且批量任务超出本地能力。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗