
宏基因组去宿主之前,先确定参考与保留规则。这里采用一种保守策略:在指定参考和比对设置下,只保留两个mate都未比对的read pair。它不同于“没有形成concordant pair就保留”,也不保证输出绝对没有宿主序列。数据需允许在当前环境按约定范围处理。
先核对宿主参考与输入
记录宿主物种、组装版本、所含主染色体及额外序列、索引生成命令与工具版本。参考覆盖不同,过滤结果就可能不同;不能只写human或mouse。输入为已质控、顺序匹配的常规双端FASTQ,R1/R2属于同一文库,原始副本和交付校验记录保留。
bowtie2 --version
samtools --version
bowtie2-inspect --summary /refs/host/index > host-index-summary.txt
gzip -t /data/S01_R1.fq.gz /data/S01_R2.fq.gz
| 策略或参数 | 实际含义 | 本例处理 |
|---|---|---|
| Bowtie2 un-conc输出 | 未形成一致配对比对 | 不作为严格双端均未命中的判据 |
| SAM flag 0x4与0x8 | 本read未比对、mate未比对 | 要求两位都存在,即-f12 |
| secondary/supplementary | 额外比对记录 | 排除0x900,即-F2304 |
| FASTQ配对与孤立项 | 同名R1/R2与缺mate记录 | 按名称collate,孤立项单列 |
保留日志并生成双端输出
将下列命令保存为单样本脚本,实际路径按项目替换。先保存BAM便于复核,再按名称整理并转回FASTQ。Bowtie2使用默认允许的mixed与discordant搜索,不加no-mixed;否则部分只命中一个mate的情况可能没有按本策略识别。4线程仅为演示档位。
#!/usr/bin/env bash
set -euo pipefail
out=S01-host-run1
mkdir "$out"
bowtie2 --very-sensitive -p 4 -x /refs/host/index -1 /data/S01_R1.fq.gz -2 /data/S01_R2.fq.gz 2> "$out/bowtie2.log" |
samtools view -b -o "$out/host-align.bam" -
samtools quickcheck "$out/host-align.bam"
samtools collate -u -O -T "$out/collate" "$out/host-align.bam" |
samtools fastq -f 12 -F 2304 -n -1 "$out/nonhost_R1.fq.gz" -2 "$out/nonhost_R2.fq.gz" -0 "$out/category0.fq.gz" -s "$out/singletons.fq.gz" -
gzip -t "$out/nonhost_R1.fq.gz" "$out/nonhost_R2.fq.gz"
pipefail让管道上游失败也向外报告。不要把同一个输出目录给多个样本;collate的临时前缀也应独立。samtools fastq要求按名称聚集以保证配对顺序,s选项把缺失mate的记录单列,不能把孤立项直接混进双端文件。
检查保留下来的reads是否配对
下面只检查标准四行FASTQ的结构、序列质量长度及配对名称,不判断生物学来源。文件名替换为上面输出;数量为零时先核对宿主比例与过滤记录,再决定后续任务是否有有效输入。
import gzip, re
from itertools import zip_longest
def reads(path):
with gzip.open(path, "rt") as f:
while True:
head = f.readline()
if not head: return
seq, plus, qual = f.readline(), f.readline(), f.readline()
assert head.startswith("@") and plus.startswith("+")
assert seq and qual and len(seq.rstrip()) > 0
assert len(seq.rstrip()) == len(qual.rstrip())
name = head.split()[0][1:]
assert name
yield re.sub(r"/[12]$", "", name)
count = 0
for a, b in zip_longest(reads("S01-host-run1/nonhost_R1.fq.gz"),
reads("S01-host-run1/nonhost_R2.fq.gz")):
assert a is not None and b is not None and a == b
count += 1
print("保留配对数", count)
用四种配对状态检查筛选意图
| 本次比对结果 | 本例是否保留整对 |
|---|---|
| 两个mate都未比对 | 保留,仍需结构与后续质量检查 |
| 仅正向mate比对 | 整对移出保留集合 |
| 仅反向mate比对 | 整对移出保留集合 |
| 两端均比对但不一致配对 | 仍移出,不因未concordant而保留 |
这张表描述的是给定参考和模式下的操作规则,不等于真实生物来源判定。确认参考是否包含本实验有关的宿主组装与额外序列,并记录为何选择当前比对敏感度。若参考不覆盖某类序列,它未被命中不能证明属于微生物;若与宿主同源,也可能被本策略移出。
需要评估残余宿主时,可在有依据的独立参考、方法或对照上检查。对同一索引再比对一次未命中,并不能作为彻底去除的独立证据。
解释结果和异常
核对Bowtie2完整摘要、输入pair数、保留pair数与孤立项,明确reads与pairs的单位。比对日志中的overall rate不是直接的整对删除比例。参考不匹配、输入配对错误或磁盘写满时,先修这些问题,不以增加CPU绕过。
微生物与宿主同源序列可能受过滤影响;比对模式、参考和阈值改变时,应评估保留结果与研究目标。过滤后的文件不能视为匿名化保证。BAM及中间文件是否保留、谁可访问、何时迁出应按项目约定执行;计算资源和后续微生物分析分别验收。
参考资料
需要额外算力时
适用前提:有明确授权和数据处理范围,批量计算超出现有资源。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
