云生信学生物信息学

dRep去冗余实操:基因组清单、比较阶段与并发预算

作者:发布于 2026-11-22更新于 2026-11-15约 7 分钟阅读
按版本规划dRep比较

按版本规划dRep比较:核对唯一MAG与质量表;固定算法及阈值;检查聚类与代表对应;按阶段峰值安排并发
本文操作与检查路径示意。

dRep资源规划先固定版本、质量输入与比较算法。当前4.0.3的默认路线已经采用skani,不能把旧版Mash全对全内存结论直接当作所有版本的必然行为。本篇固定4.0.3,对已完成质量评估的细菌或古菌MAG进行去冗余,先测一个完整代表集合,再扩到全批。

让基因组名称与质量表一一对应

genomes.txt每行一个非空FASTA绝对路径,quality.csv含genome、completeness、contamination三列,genome使用带后缀的文件basename。不同目录下同名bin.1.fa会冲突,先赋予可追溯唯一文件名并保存映射;质量值按百分数0到100填写,不把0.95误当95。

记录项 本例设置 解释
输入范围 细菌/古菌MAG 不直接套病毒、质粒或真核
质量 已有completeness/contamination 保留评估工具与版本
比较 skani主/次聚类 固定算法后再比较资源
阈值 90完整度、5污染、0.95 ANI示例 正式标准依研究目的确定

先检查清单与质量数字

将代码保存为check_genomes.py。它不重新评价MAG,只阻止重复basename、缺文件、漏质量值及不合理数字。筛选后保留多少MAG还要从dRep日志和Bdb核对,不能把输入数量直接抄到结果数量。

import csv,math
from pathlib import Path
paths=[Path(x) for x in Path("genomes.txt").read_text().splitlines()]
assert paths and all(p.is_absolute() and p.is_file() and p.stat().st_size>0 for p in paths)
names=[p.name for p in paths]
assert len(set(names))==len(names) and len({p.resolve() for p in paths})==len(paths)
with open("quality.csv",newline="") as f:
    reader=csv.DictReader(f);assert {"genome","completeness","contamination"}<=set(reader.fieldnames or [])
    rows=list(reader)
assert len({r["genome"] for r in rows})==len(rows)
assert {r["genome"] for r in rows}==set(names)
for r in rows:
    values=[float(r[k]) for k in ["completeness","contamination"]]
    assert all(math.isfinite(x) and 0<=x<=100 for x in values)
print("validated genomes",len(paths))

用固定算法和新工作目录运行

先在兼容skani及其他依赖环境执行dRep官方样例。下例明确主/次聚类算法,所有筛选和比较数值都是教学协议,运行前按项目批准的方法修改。两个processors不等于所有子进程始终只占两个核,完整作业的CPU与RAM还要实测。

set -euo pipefail
python3 check_genomes.py
test ! -e drep-run-001
test ! -L drep-run-001
mkdir drep-evidence-001
dRep check_dependencies > drep-evidence-001/dependencies.txt 2>&1
dRep dereplicate -h > drep-evidence-001/help.txt
/usr/bin/time -v -o drep-evidence-001/resources.txt dRep dereplicate \
  drep-run-001 -g genomes.txt --genomeInfo quality.csv -p 2 \
  --primary_algorithm skani --S_algorithm skani \
  -comp 90 -con 5 -pa 0.90 -sa 0.95 -nc 0.30 \
  > drep-evidence-001/run.log 2>&1
test -s drep-run-001/data_tables/Cdb.csv
test -s drep-run-001/data_tables/Wdb.csv

核对聚类和代表,而非只数文件

Bdb记录实际纳入,Cdb记录聚类,Wdb记录代表基因组,Sdb保存评分信息。检查每个保留基因组有明确归属,每个最终簇的代表能追溯到原FASTA及质量值,dereplicated_genomes目录与Wdb一致。无保留基因组时先看质量筛选,不人为填一个代表让下游继续。

ANI阈值不是通用物种定论,还要结合覆盖比例、基因组完整性与研究范围。近似主聚类与后续比较各有条件,不能任意把输入切成互不比较的小批再合并代表,可能遗漏跨批冗余。质粒等小基因组需要另外考虑局部共享片段和该版本的对齐覆盖限制。

4.0.3的skani路线可利用稀疏主聚类并复用相应比较;旧版或显式MASH路线可能形成不同的中间表。保存算法、阈值与版本,不把更换路线后的时间直接算作同方法加速,也不承诺任何规模都没有大簇或高内存。检查真实最大簇及比较记录数,定位瓶颈。

保留工作目录,再决定并发

记录质量筛选、主聚类、次聚类与代表选择各阶段时间、RSS和盘占用;单个大簇可能比许多小簇更重。第一次先完整顺序运行,不同时启动多份同目录任务。需要恢复时按同版本工作目录机制核对缓存,输入或参数改变就另建目录,避免旧表被无声复用。

依赖检查报告也要人工读,不能只以check_dependencies退出码判断所有可选工具都可用。保存质量来源、原始MAG、重命名表、聚类及代表结果;CPU资源不足和RAM容量不足分别测量,只有必要的同方法任务超过现有能力时再扩容。

参考资料

需要额外算力时

适用前提:质量条件和去冗余目标明确,大量比较超出现有吞吐量。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗