
MetaPhlAn批量物种分析先固定程序和marker数据库,再逐样本运行、合并同一口径的丰度表。本篇固定4.2.5短读长路线,使用当前源码的–db_dir和–mapout;旧教程中的数据库目录与中间文件参数名称不能不核版本就照抄。
冻结数据库,而不是沿用latest
在独立目录预先安装并验收适用数据库,记录真实index名称、全部数据库文件与校验值。INDEX必须填写已安装的具体值;不要由每个并发任务自动下载latest。参考版本不同会影响可比较的类群与标识,不能先混跑,最后靠合并脚本把差异抹掉。
| 记录项 | 本例选择 | 验收要点 |
|---|---|---|
| 程序 | MetaPhlAn4.2.5 | 版本与参数相符 |
| 数据库 | 固定DB目录和INDEX | marker、索引及元信息完整 |
| 输入 | 去接头并适当去宿主的双端FASTQ | 同一样本的R1/R2身份正确 |
| 结果 | 每样本profile和mapout | 同数据库才能合并 |
先运行两个独立样本
先在当前环境完成官方样例和一个项目样本。DB和INDEX在环境变量中填实际值;下例两线程仅为示例,S1/S2均采用相同预处理协议。输入用逗号连接,路径不得含逗号;MetaPhlAn接收双端文件,但此路线并不按配对关系进行marker比对。
set -euo pipefail
: "${DB:?填写已验收数据库绝对目录}"
: "${INDEX:?填写已安装的具体index名称}"
[[ "$DB" = /* && "$INDEX" != latest && -n "$INDEX" ]] || exit 2
test -d "$DB"
test -s "$DB/$INDEX.pkl"
mkdir metaphlan-batch-001
root="$PWD/metaphlan-batch-001"
metaphlan --version --db_dir "$DB" > "$root/version.txt" 2>&1
for sample in S1 S2; do
r1="/data/${sample}_R1.fastq.gz"
r2="/data/${sample}_R2.fastq.gz"
test -s "$r1"
test -s "$r2"
gzip -t "$r1" "$r2"
/usr/bin/time -v -o "$root/$sample.resources.txt" metaphlan \
"$r1,$r2" --input_type fastq --db_dir "$DB" --index "$INDEX" \
--offline --nproc 2 --mapout "$root/$sample.mapout.bz2" \
-o "$root/${sample}_profile.tsv" > "$root/$sample.log" 2>&1
test -s "$root/${sample}_profile.tsv"
done
merge_metaphlan_tables.py "$root/S1_profile.tsv" "$root/S2_profile.tsv" \
> "$root/merged.tsv"
test -s "$root/merged.tsv"
合并后仍需检查表头和数值
先检查每个profile首部数据库标识一致、列名包含relative_abundance,数值有限且不为负。再读merged的样本列应恰为S1、S2,无重复或漏列;首部应是相同数据库标识。合并脚本的错误信息可能写到标准输出,非空文件与退出零都不足以证明得到合法丰度表。
不同分类层级不能混在一起求总和;物种层级、SGB与未分类部分分别按研究协议处理。相对丰度不是绝对细胞数,也不等于每个类群被分配的reads占比。未检出可能与深度、marker覆盖和数据库范围有关,不能直接认定样本不存在该微生物。
mapout记录与marker数据库绑定,可用于兼容条件下重新计算,但不是可随意换库复用的通用比对文件。保持各样本文件名唯一,保存原始输入与预处理记录;数据库或方法升级应另存整批,不把新旧profile混进同一丰度矩阵。
按marker流程测量扩批资源
记录单样本输入读段量、数据库、线程、完整时间与RSS,关注读取/解压、marker比对和后处理各阶段。不能直接套用Kraken2数据库整体加载的内存公式;线程增加是否有效,应在同输入同数据库下比较。程序日志中的读段数量还需与预处理统计核对。
共享数据库可只读复用,样本输出和临时路径各自独立。保存profile、必要mapout、日志和待回传副本的共存空间;先小并发测实际吞吐,再增加任务数。缺样本、错误数据库或格式异常应先修正,只有全部预期样本通过验收才汇总下游分析。
以下在运行目录检查合并表。它要求数据库首行与两个profile完全一致,列名恰为两个样本,并拒绝错误文本、重复类群、非有限数值和负值;通过后仍需按生物学层级解释。
import csv,math
from pathlib import Path
root=Path("metaphlan-batch-001")
first=[(root/f"{s}_profile.tsv").read_text().splitlines()[0] for s in ["S1","S2"]]
assert first[0]==first[1] and first[0].startswith("#mpa_")
with (root/"merged.tsv").open() as f:
assert f.readline().rstrip("\n")==first[0]
rows=list(csv.reader(f,delimiter="\t"))
assert rows and rows[0]==["clade_name","S1","S2"]
seen=set()
for row in rows[1:]:
assert len(row)==3 and row[0] and row[0] not in seen
seen.add(row[0]);v=list(map(float,row[1:]))
assert all(math.isfinite(x) and x>=0 for x in v)
assert seen
print("database and columns verified",len(seen))
参考资料
需要额外算力时
适用前提:单样本验证和数据库核对完成,批量分类超出现有计算能力。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
