云生信学生物信息学

MetaPhlAn队列流程:数据库固定、样本任务与结果合并

作者:发布于 2026-11-22更新于 2026-11-15约 8 分钟阅读
固定数据库再跑MetaPhlAn

固定数据库再跑MetaPhlAn:记录程序和index版本;逐样本保存profile;核验数据库与样本列;按同一层级做下游
本文操作与检查路径示意。

MetaPhlAn批量物种分析先固定程序和marker数据库,再逐样本运行、合并同一口径的丰度表。本篇固定4.2.5短读长路线,使用当前源码的–db_dir和–mapout;旧教程中的数据库目录与中间文件参数名称不能不核版本就照抄。

冻结数据库,而不是沿用latest

在独立目录预先安装并验收适用数据库,记录真实index名称、全部数据库文件与校验值。INDEX必须填写已安装的具体值;不要由每个并发任务自动下载latest。参考版本不同会影响可比较的类群与标识,不能先混跑,最后靠合并脚本把差异抹掉。

记录项 本例选择 验收要点
程序 MetaPhlAn4.2.5 版本与参数相符
数据库 固定DB目录和INDEX marker、索引及元信息完整
输入 去接头并适当去宿主的双端FASTQ 同一样本的R1/R2身份正确
结果 每样本profile和mapout 同数据库才能合并

先运行两个独立样本

先在当前环境完成官方样例和一个项目样本。DB和INDEX在环境变量中填实际值;下例两线程仅为示例,S1/S2均采用相同预处理协议。输入用逗号连接,路径不得含逗号;MetaPhlAn接收双端文件,但此路线并不按配对关系进行marker比对。

set -euo pipefail
: "${DB:?填写已验收数据库绝对目录}"
: "${INDEX:?填写已安装的具体index名称}"
[[ "$DB" = /* && "$INDEX" != latest && -n "$INDEX" ]] || exit 2
test -d "$DB"
test -s "$DB/$INDEX.pkl"
mkdir metaphlan-batch-001
root="$PWD/metaphlan-batch-001"
metaphlan --version --db_dir "$DB" > "$root/version.txt" 2>&1
for sample in S1 S2; do
  r1="/data/${sample}_R1.fastq.gz"
  r2="/data/${sample}_R2.fastq.gz"
  test -s "$r1"
  test -s "$r2"
  gzip -t "$r1" "$r2"
  /usr/bin/time -v -o "$root/$sample.resources.txt" metaphlan \
    "$r1,$r2" --input_type fastq --db_dir "$DB" --index "$INDEX" \
    --offline --nproc 2 --mapout "$root/$sample.mapout.bz2" \
    -o "$root/${sample}_profile.tsv" > "$root/$sample.log" 2>&1
  test -s "$root/${sample}_profile.tsv"
done
merge_metaphlan_tables.py "$root/S1_profile.tsv" "$root/S2_profile.tsv" \
  > "$root/merged.tsv"
test -s "$root/merged.tsv"

合并后仍需检查表头和数值

先检查每个profile首部数据库标识一致、列名包含relative_abundance,数值有限且不为负。再读merged的样本列应恰为S1、S2,无重复或漏列;首部应是相同数据库标识。合并脚本的错误信息可能写到标准输出,非空文件与退出零都不足以证明得到合法丰度表。

不同分类层级不能混在一起求总和;物种层级、SGB与未分类部分分别按研究协议处理。相对丰度不是绝对细胞数,也不等于每个类群被分配的reads占比。未检出可能与深度、marker覆盖和数据库范围有关,不能直接认定样本不存在该微生物。

mapout记录与marker数据库绑定,可用于兼容条件下重新计算,但不是可随意换库复用的通用比对文件。保持各样本文件名唯一,保存原始输入与预处理记录;数据库或方法升级应另存整批,不把新旧profile混进同一丰度矩阵。

按marker流程测量扩批资源

记录单样本输入读段量、数据库、线程、完整时间与RSS,关注读取/解压、marker比对和后处理各阶段。不能直接套用Kraken2数据库整体加载的内存公式;线程增加是否有效,应在同输入同数据库下比较。程序日志中的读段数量还需与预处理统计核对。

共享数据库可只读复用,样本输出和临时路径各自独立。保存profile、必要mapout、日志和待回传副本的共存空间;先小并发测实际吞吐,再增加任务数。缺样本、错误数据库或格式异常应先修正,只有全部预期样本通过验收才汇总下游分析。

以下在运行目录检查合并表。它要求数据库首行与两个profile完全一致,列名恰为两个样本,并拒绝错误文本、重复类群、非有限数值和负值;通过后仍需按生物学层级解释。

import csv,math
from pathlib import Path
root=Path("metaphlan-batch-001")
first=[(root/f"{s}_profile.tsv").read_text().splitlines()[0] for s in ["S1","S2"]]
assert first[0]==first[1] and first[0].startswith("#mpa_")
with (root/"merged.tsv").open() as f:
    assert f.readline().rstrip("\n")==first[0]
    rows=list(csv.reader(f,delimiter="\t"))
assert rows and rows[0]==["clade_name","S1","S2"]
seen=set()
for row in rows[1:]:
    assert len(row)==3 and row[0] and row[0] not in seen
    seen.add(row[0]);v=list(map(float,row[1:]))
    assert all(math.isfinite(x) and x>=0 for x in v)
assert seen
print("database and columns verified",len(seen))

参考资料

需要额外算力时

适用前提:单样本验证和数据库核对完成,批量分类超出现有计算能力。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗