
宏基因组reads回贴前,先明确参考是各样本独立组装、一个共同组装,还是MAG参考集合。不同方案的任务数量与覆盖度解释不同,不能用同名contig替代真实参考身份。本篇将两个双端短读长样本回贴到同一份已验收共同组装,供后续contig覆盖度计算使用。
固定参考和样本配对
contigs.fa应有唯一序列ID,序列长度和校验值已记录。S1、S2的R1/R2经过适当质控并确认配对、样本身份与宿主处理协议。这里采用Bowtie2短读长默认路线,不直接用于ONT或HiFi长读长;高度相似菌株的多重匹配解释还需与下游分箱/丰度方法保持一致。
| 回贴设计 | 示例任务量 | 需要保存 |
|---|---|---|
| 两个样本→同一共同组装 | 2次比对 | 共同FASTA及索引 |
| N个样本→各自组装 | N次 | 样本与组装一一映射 |
| N个样本→M份组装 | N×M次 | 实际需要的交叉组合清单 |
| BAM交接 | 坐标排序并索引 | 参考SN/LN、映射统计与日志 |
索引一次,样本顺序完成
下例需要Bowtie2、samtools、GNU Time。两比对线程与一个排序/压缩线程只是示例,sort -m是每线程近似内存额度,不是进程总RAM硬限。为便于排错,演示保留SAM再排序,必须把大文本SAM与BAM共存计入工作盘;正式管道流式处理应另验证失败传播。
set -euo pipefail
assembly=/data/contigs.fa
test -s "$assembly"
mkdir remap-batch-001
root="$PWD/remap-batch-001"
bowtie2 --version > "$root/bowtie2-version.txt"
samtools --version > "$root/samtools-version.txt"
sha256sum "$assembly" > "$root/reference.sha256"
bowtie2-build "$assembly" "$root/assembly" > "$root/build.log" 2>&1
samtools dict "$assembly" > "$root/reference.dict"
for sample in S1 S2; do
r1="/data/${sample}_R1.fastq.gz";r2="/data/${sample}_R2.fastq.gz"
test -s "$r1"
test -s "$r2"
gzip -t "$r1" "$r2"
/usr/bin/time -v -o "$root/$sample.map.resources.txt" bowtie2 \
-x "$root/assembly" -1 "$r1" -2 "$r2" -p 2 \
-S "$root/$sample.sam" > "$root/$sample.stdout.txt" 2> "$root/$sample.map.log"
/usr/bin/time -v -o "$root/$sample.sort.resources.txt" samtools sort \
-@ 1 -m 1G -T "$root/$sample.tmp" -o "$root/$sample.bam" "$root/$sample.sam"
samtools quickcheck -v "$root/$sample.bam"
samtools index "$root/$sample.bam"
samtools view -H "$root/$sample.bam" > "$root/$sample.header.sam"
samtools flagstat "$root/$sample.bam" > "$root/$sample.flagstat.txt"
done
验收BAM是否来自这份contig
运行下面代码比较SN与LN,而不是凭BAM大小或contig数量猜参考。它将所有@SQ标签按键读取,拒绝重复SN和不同顺序/长度;不依赖标签固定列号。随后抽查代表contig的覆盖、配对和多重匹配,quickcheck只检查有限结构,不能证明整个比对正确。
from pathlib import Path
root=Path("remap-batch-001")
def sequences(path):
out=[]
for line in path.read_text().splitlines():
if not line.startswith("@SQ\t"):continue
tags=dict(v.split(":",1) for v in line.split("\t")[1:])
assert int(tags["LN"])>0
out.append((tags["SN"],int(tags["LN"])))
assert out and len({x[0] for x in out})==len(out)
return out
expected=sequences(root/"reference.dict")
for sample in ["S1","S2"]:
assert sequences(root/f"{sample}.header.sam")==expected
print("reference sequence IDs and lengths match")
比对率低先核样本、宿主比例、组装来源和读段质量,不直接放宽全部过滤条件。contig名不一致时回查参考及索引,不能只改BAM头伪装一致。回贴到同一共同组装并不证明两个样本具有相同群落组成;覆盖度矩阵必须保留各样本身份和零覆盖情况。
需要差异覆盖分箱时,按相同规则保留多个BAM,再用适用工具生成每contig每样本深度。不要将两个样本的reads先合并后只交一列平均覆盖,丢失跨样本变化;也不要把独立组装的同名NODE_1误当相同序列合成矩阵。
按实际组合和文件共存预算
分别测索引、比对、排序和深度生成的完整耗时与峰值;排序阶段还会写临时块。先完成一个代表样本再增加并发,关注共享索引读取和磁盘吞吐,不用一个BAM的终态大小代表整个任务工作盘。不同阶段的资源不能只截取最低的一项汇报。
保留参考校验、样本映射、命令、日志与完成清单。中断后先核对该样本BAM、索引和统计,再确定哪些阶段可复用;部分SAM或BAM存在不代表成功。删除SAM等可重建文件前,先确认最终BAM验收与保留策略,脚本不自动清理失败现场。
项目任务表至少保留样本ID、R1/R2路径、组装校验和、索引前缀、输出BAM与验收状态,读段文件发生替换后先更新输入版本。
参考资料
需要额外算力时
适用前提:组装和样本映射关系明确,多样本回贴形成计算需求。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
