云生信学生物信息学

核对宿主参考并建立比对、过滤和日志流程

作者:发布于 2026-11-17更新于 2026-11-15约 8 分钟阅读
核对宿主参考并建立比对、过滤和日志流程

核对宿主参考并建立比对、过滤和日志流程:固定宿主参考和过滤规则;保留比对日志与BAM;筛双端均未比对的pairs;核对配对与保留数量
本文操作与检查路径示意。

宏基因组去宿主之前,先确定参考与保留规则。这里采用一种保守策略:在指定参考和比对设置下,只保留两个mate都未比对的read pair。它不同于“没有形成concordant pair就保留”,也不保证输出绝对没有宿主序列。数据需允许在当前环境按约定范围处理。

先核对宿主参考与输入

记录宿主物种、组装版本、所含主染色体及额外序列、索引生成命令与工具版本。参考覆盖不同,过滤结果就可能不同;不能只写human或mouse。输入为已质控、顺序匹配的常规双端FASTQ,R1/R2属于同一文库,原始副本和交付校验记录保留。

bowtie2 --version
samtools --version
bowtie2-inspect --summary /refs/host/index > host-index-summary.txt
gzip -t /data/S01_R1.fq.gz /data/S01_R2.fq.gz
策略或参数 实际含义 本例处理
Bowtie2 un-conc输出 未形成一致配对比对 不作为严格双端均未命中的判据
SAM flag 0x4与0x8 本read未比对、mate未比对 要求两位都存在,即-f12
secondary/supplementary 额外比对记录 排除0x900,即-F2304
FASTQ配对与孤立项 同名R1/R2与缺mate记录 按名称collate,孤立项单列

保留日志并生成双端输出

将下列命令保存为单样本脚本,实际路径按项目替换。先保存BAM便于复核,再按名称整理并转回FASTQ。Bowtie2使用默认允许的mixed与discordant搜索,不加no-mixed;否则部分只命中一个mate的情况可能没有按本策略识别。4线程仅为演示档位。

#!/usr/bin/env bash
set -euo pipefail
out=S01-host-run1
mkdir "$out"
bowtie2 --very-sensitive -p 4 -x /refs/host/index   -1 /data/S01_R1.fq.gz -2 /data/S01_R2.fq.gz   2> "$out/bowtie2.log" |
  samtools view -b -o "$out/host-align.bam" -
samtools quickcheck "$out/host-align.bam"
samtools collate -u -O -T "$out/collate" "$out/host-align.bam" |
  samtools fastq -f 12 -F 2304 -n   -1 "$out/nonhost_R1.fq.gz" -2 "$out/nonhost_R2.fq.gz"   -0 "$out/category0.fq.gz" -s "$out/singletons.fq.gz" -
gzip -t "$out/nonhost_R1.fq.gz" "$out/nonhost_R2.fq.gz"

pipefail让管道上游失败也向外报告。不要把同一个输出目录给多个样本;collate的临时前缀也应独立。samtools fastq要求按名称聚集以保证配对顺序,s选项把缺失mate的记录单列,不能把孤立项直接混进双端文件。

检查保留下来的reads是否配对

下面只检查标准四行FASTQ的结构、序列质量长度及配对名称,不判断生物学来源。文件名替换为上面输出;数量为零时先核对宿主比例与过滤记录,再决定后续任务是否有有效输入。

import gzip, re
from itertools import zip_longest
def reads(path):
    with gzip.open(path, "rt") as f:
        while True:
            head = f.readline()
            if not head: return
            seq, plus, qual = f.readline(), f.readline(), f.readline()
            assert head.startswith("@") and plus.startswith("+")
            assert seq and qual and len(seq.rstrip()) > 0
            assert len(seq.rstrip()) == len(qual.rstrip())
            name = head.split()[0][1:]
            assert name
            yield re.sub(r"/[12]$", "", name)
count = 0
for a, b in zip_longest(reads("S01-host-run1/nonhost_R1.fq.gz"),
                       reads("S01-host-run1/nonhost_R2.fq.gz")):
    assert a is not None and b is not None and a == b
    count += 1
print("保留配对数", count)

用四种配对状态检查筛选意图

本次比对结果 本例是否保留整对
两个mate都未比对 保留,仍需结构与后续质量检查
仅正向mate比对 整对移出保留集合
仅反向mate比对 整对移出保留集合
两端均比对但不一致配对 仍移出,不因未concordant而保留

这张表描述的是给定参考和模式下的操作规则,不等于真实生物来源判定。确认参考是否包含本实验有关的宿主组装与额外序列,并记录为何选择当前比对敏感度。若参考不覆盖某类序列,它未被命中不能证明属于微生物;若与宿主同源,也可能被本策略移出。

需要评估残余宿主时,可在有依据的独立参考、方法或对照上检查。对同一索引再比对一次未命中,并不能作为彻底去除的独立证据。

解释结果和异常

核对Bowtie2完整摘要、输入pair数、保留pair数与孤立项,明确reads与pairs的单位。比对日志中的overall rate不是直接的整对删除比例。参考不匹配、输入配对错误或磁盘写满时,先修这些问题,不以增加CPU绕过。

微生物与宿主同源序列可能受过滤影响;比对模式、参考和阈值改变时,应评估保留结果与研究目标。过滤后的文件不能视为匿名化保证。BAM及中间文件是否保留、谁可访问、何时迁出应按项目约定执行;计算资源和后续微生物分析分别验收。

参考资料

需要额外算力时

适用前提:有明确授权和数据处理范围,批量计算超出现有资源。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗