
eggNOG-mapper批量注释前,先固定输入蛋白、数据库版本和软件环境。本文示例针对2.1.13与兼容DIAMOND搜索库,不能直接推断其他主版本的数据库目录可复用。每条蛋白使用稳定且唯一的FASTA ID,并保留样本与原基因映射;切分必须按完整FASTA记录进行,不要按文本行数切开。
| 项目 | 本例 | 检查点 |
|---|---|---|
| 输入 | 预测蛋白part01/02 | ID唯一、序列非空 |
| 环境 | eggNOG-mapper 2.1.13 | 版本与数据库兼容 |
| 搜索 | DIAMOND、CPU 4 | 所有分片参数一致 |
| 合并 | 统一表头,按query ID检查 | 重复、未知和未注释分别报告 |
逐片运行并保留独立日志
先确认数据库已完整准备,分片由同一原始FASTA按记录边界生成。下面串行运行便于建立耗时和峰值内存基线;output_dir需已存在,失败时不要用覆盖参数改写现场。扩展并发前,应计入数据库读取带来的内存和存储压力。
#!/usr/bin/env bash
set -euo pipefail
db=/db/eggnog-compatible-2.1.13
test -d "$db"
for part in part01 part02; do test -s "/data/$part.faa"; done
mkdir eggnog-parts-001
root="$PWD/eggnog-parts-001"
emapper.py --version > "$root/version.txt" 2>&1
for part in part01 part02; do
mkdir "$root/$part"
/usr/bin/time -v -o "$root/$part/resources.txt" \
emapper.py -i "/data/$part.faa" --itype proteins -m diamond \
--data_dir "$db" --cpu 4 -o "$part" --output_dir "$root/$part" \
> "$root/$part/run.log" 2>&1
test -s "$root/$part/$part.emapper.annotations"
done
合并前检查输入与注释输出
下段脚本逐片读取FASTA和注释表,要求表头一致、注释ID属于该片输入且不重复。未出现在注释表中的query单独写入清单;这让研究者检查搜索未命中或过滤状态,而不是把注释行数误当作输入数。大规模任务可把ID集合改存SQLite,避免全部驻留内存。
from pathlib import Path
import os
root=Path("eggnog-parts-001")
fasta_dir=Path(os.environ.get("FASTA_DIR","/data"))
parts=["part01","part02"]
header=None; seen=set(); missing=[]; rows=[]
for part in parts:
fasta=fasta_dir/(part+".faa")
input_ids=[]
with fasta.open() as handle:
for line in handle:
if line.startswith(">"):
fields=line[1:].split()
if not fields: raise ValueError("empty protein ID")
input_ids.append(fields[0])
if len(input_ids)!=len(set(input_ids)): raise ValueError("duplicate input IDs")
local_header=None; local_seen=set()
path=root/part/(part+".emapper.annotations")
with path.open() as handle:
for line in handle:
if line.startswith("#query\t"):
local_header=line.rstrip("\n")
if header is None: header=local_header
if local_header!=header: raise ValueError("annotation headers differ")
elif line.strip() and not line.startswith("#"):
if local_header is None: raise ValueError("missing header")
fields=line.rstrip("\n").split("\t")
if len(fields)!=len(header.split("\t")): raise ValueError("column count differs")
query=fields[0]
if query not in set(input_ids): raise ValueError("annotation ID absent from part FASTA: "+query)
if query in local_seen or query in seen: raise ValueError("duplicate annotation ID: "+query)
local_seen.add(query);seen.add(query);rows.append(line.rstrip("\n"))
if local_header is None: raise ValueError("empty annotation output")
missing.extend(sorted(set(input_ids)-local_seen))
out=root/"merged.annotations.tsv"
with out.open("x") as handle: handle.write(header+"\n"+"\n".join(rows)+"\n")
with (root/"queries_without_annotation.txt").open("x") as handle:
handle.write("\n".join(missing)+("\n" if missing else ""))
print("annotation rows",len(rows),"queries without rows",len(missing))
解释未注释条目并验收批次
未注释不等于输入蛋白无生物学功能。抽查这些序列的长度、低复杂度、完整性和搜索日志;区分没有同源命中与有命中但功能字段缺失。比较样本时同时报告输入query数、注释行数、未注释清单数和关键字段覆盖率,不能只展示功能分类总量。
合并表只在软件版本、数据库、搜索模式及关键过滤参数相同的分片间成立。记录每片输入哈希、数据库标识、完整命令、运行日志、资源峰值和输出哈希。分片必须恰好覆盖原始蛋白集合一次;先对照分片ID并集与原始ID清单,再检查是否有重叠或遗漏。分片完成后也不要在不同版本数据库间直接拼接注释结果。
数据库体积和并发要分开规划
数据库下载与解压可能需要比最终目录更大的临时空间;预先盘点目标盘剩余容量,并保存数据库版本、来源及校验值。不要将下载进行中或缺少索引文件的目录交给正式任务。先完成一个小分片,记录运行时间、峰值内存、磁盘读取和临时文件,再决定批次大小。
多个进程同时搜索同一数据库时,CPU以外还会竞争内存和文件系统读取。并发数应根据每个作业实际峰值与存储性能确定;线程数填满整机并不一定缩短总时间。若任务失败,依据日志区分输入格式、数据库缺项、内存不足或I/O瓶颈,修复原因后在新输出目录重跑。
结果复核可以抽取有代表性的query,检查seed ortholog、显著性与功能字段,并与已知注释或人工审阅结果对照。eggNOG-mapper按同源关系转移功能,结果是注释证据而非实验验证;对关键基因结论应保留相似序列、覆盖度及后续验证来源。
下载练习材料
先核对包内SHA256清单,再在独立目录复现。
需要额外算力时
适用前提:数据库版本和注释模式确认,蛋白数量形成持续计算需求。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
