云生信学生物信息学

eggNOG-mapper队列注释:数据库部署、任务拆分与结果合并

作者:发布于 2026-11-22更新于 2026-11-15约 11 分钟阅读
eggNOG分片注释先固定输入与数据库

eggNOG分片注释先固定输入与数据库:按完整蛋白记录拆片;锁定软件和数据库版本;逐片保留日志与输出;核ID并单列未注释记录
本文操作与检查路径示意。

eggNOG-mapper批量注释前,先固定输入蛋白、数据库版本和软件环境。本文示例针对2.1.13与兼容DIAMOND搜索库,不能直接推断其他主版本的数据库目录可复用。每条蛋白使用稳定且唯一的FASTA ID,并保留样本与原基因映射;切分必须按完整FASTA记录进行,不要按文本行数切开。

项目 本例 检查点
输入 预测蛋白part01/02 ID唯一、序列非空
环境 eggNOG-mapper 2.1.13 版本与数据库兼容
搜索 DIAMOND、CPU 4 所有分片参数一致
合并 统一表头,按query ID检查 重复、未知和未注释分别报告

逐片运行并保留独立日志

先确认数据库已完整准备,分片由同一原始FASTA按记录边界生成。下面串行运行便于建立耗时和峰值内存基线;output_dir需已存在,失败时不要用覆盖参数改写现场。扩展并发前,应计入数据库读取带来的内存和存储压力。

#!/usr/bin/env bash
set -euo pipefail
db=/db/eggnog-compatible-2.1.13
test -d "$db"
for part in part01 part02; do test -s "/data/$part.faa"; done
mkdir eggnog-parts-001
root="$PWD/eggnog-parts-001"
emapper.py --version > "$root/version.txt" 2>&1
for part in part01 part02; do
  mkdir "$root/$part"
  /usr/bin/time -v -o "$root/$part/resources.txt" \
    emapper.py -i "/data/$part.faa" --itype proteins -m diamond \
    --data_dir "$db" --cpu 4 -o "$part" --output_dir "$root/$part" \
    > "$root/$part/run.log" 2>&1
  test -s "$root/$part/$part.emapper.annotations"
done

合并前检查输入与注释输出

下段脚本逐片读取FASTA和注释表,要求表头一致、注释ID属于该片输入且不重复。未出现在注释表中的query单独写入清单;这让研究者检查搜索未命中或过滤状态,而不是把注释行数误当作输入数。大规模任务可把ID集合改存SQLite,避免全部驻留内存。

from pathlib import Path
import os
root=Path("eggnog-parts-001")
fasta_dir=Path(os.environ.get("FASTA_DIR","/data"))
parts=["part01","part02"]
header=None; seen=set(); missing=[]; rows=[]
for part in parts:
    fasta=fasta_dir/(part+".faa")
    input_ids=[]
    with fasta.open() as handle:
        for line in handle:
            if line.startswith(">"):
                fields=line[1:].split()
                if not fields: raise ValueError("empty protein ID")
                input_ids.append(fields[0])
    if len(input_ids)!=len(set(input_ids)): raise ValueError("duplicate input IDs")
    local_header=None; local_seen=set()
    path=root/part/(part+".emapper.annotations")
    with path.open() as handle:
        for line in handle:
            if line.startswith("#query\t"):
                local_header=line.rstrip("\n")
                if header is None: header=local_header
                if local_header!=header: raise ValueError("annotation headers differ")
            elif line.strip() and not line.startswith("#"):
                if local_header is None: raise ValueError("missing header")
                fields=line.rstrip("\n").split("\t")
                if len(fields)!=len(header.split("\t")): raise ValueError("column count differs")
                query=fields[0]
                if query not in set(input_ids): raise ValueError("annotation ID absent from part FASTA: "+query)
                if query in local_seen or query in seen: raise ValueError("duplicate annotation ID: "+query)
                local_seen.add(query);seen.add(query);rows.append(line.rstrip("\n"))
    if local_header is None: raise ValueError("empty annotation output")
    missing.extend(sorted(set(input_ids)-local_seen))
out=root/"merged.annotations.tsv"
with out.open("x") as handle: handle.write(header+"\n"+"\n".join(rows)+"\n")
with (root/"queries_without_annotation.txt").open("x") as handle:
    handle.write("\n".join(missing)+("\n" if missing else ""))
print("annotation rows",len(rows),"queries without rows",len(missing))

解释未注释条目并验收批次

未注释不等于输入蛋白无生物学功能。抽查这些序列的长度、低复杂度、完整性和搜索日志;区分没有同源命中与有命中但功能字段缺失。比较样本时同时报告输入query数、注释行数、未注释清单数和关键字段覆盖率,不能只展示功能分类总量。

合并表只在软件版本、数据库、搜索模式及关键过滤参数相同的分片间成立。记录每片输入哈希、数据库标识、完整命令、运行日志、资源峰值和输出哈希。分片必须恰好覆盖原始蛋白集合一次;先对照分片ID并集与原始ID清单,再检查是否有重叠或遗漏。分片完成后也不要在不同版本数据库间直接拼接注释结果。

数据库体积和并发要分开规划

数据库下载与解压可能需要比最终目录更大的临时空间;预先盘点目标盘剩余容量,并保存数据库版本、来源及校验值。不要将下载进行中或缺少索引文件的目录交给正式任务。先完成一个小分片,记录运行时间、峰值内存、磁盘读取和临时文件,再决定批次大小。

多个进程同时搜索同一数据库时,CPU以外还会竞争内存和文件系统读取。并发数应根据每个作业实际峰值与存储性能确定;线程数填满整机并不一定缩短总时间。若任务失败,依据日志区分输入格式、数据库缺项、内存不足或I/O瓶颈,修复原因后在新输出目录重跑。

结果复核可以抽取有代表性的query,检查seed ortholog、显著性与功能字段,并与已知注释或人工审阅结果对照。eggNOG-mapper按同源关系转移功能,结果是注释证据而非实验验证;对关键基因结论应保留相似序列、覆盖度及后续验证来源。

下载练习材料

下载教程 PDF · 下载代码与示例数据 ZIP

先核对包内SHA256清单,再在独立目录复现。

需要额外算力时

适用前提:数据库版本和注释模式确认,蛋白数量形成持续计算需求。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗