
基因家族批量比对要同时控制两层并发:同时处理多少个家族,以及每个MAFFT调用使用多少线程。先将方法和输入写入清单,再测单家族与小队列;不能让每个调用都自动占满机器。本篇限定蛋白质家族FASTA和MAFFT 7,不把比对完成当作同源关系已验证。
每个家族先决定方法
同一目录不代表所有家族适合相同策略。序列是否全长、是否含大插入、数量与长度差异,都会影响方法选择。下面只演示auto和L-INS-i两种入口;auto会按数据选择策略,不是固定算法名称,因此需要保留日志。比较资源时先保持输入与方法一致,不拿改变方法后的速度当同一任务的加速。
| 设置 | 适用说明 | 本例处理 |
|---|---|---|
| –auto | 由程序按数据选择策略 | 记录日志里的实际方法 |
| –localpair –maxiterate 1000 | L-INS-i入口,先评估家族适用性 | 不自动用于全部大族 |
| –thread 2 | 单个调用的线程教学值 | 与外层任务数一起预算 |
| –threadit 0 | 关闭迭代精修阶段多线程 | 减少该阶段并行造成的重复差异 |
建立清单并运行小队列
需要Python 3、Biopython和已验证安装的MAFFT。jobs.tsv无表头,每行是家族名、蛋白FASTA路径、auto或linsi,用TAB分隔。家族名只用字母、数字、下划线和短横线;例如fam001、proteins/fam001.fa、auto。以下保存为run_mafft.py,在项目目录执行python3 run_mafft.py 1先顺序试跑;更换新工作目录后用参数2测两个并发,不能覆盖旧结果。
import csv,re,subprocess,sys,os
from pathlib import Path
from concurrent.futures import ThreadPoolExecutor
from Bio import SeqIO
workers=int(sys.argv[1]);assert workers in {1,2}
def read_fasta(path):
records=list(SeqIO.parse(path,"fasta"))
ids=[r.id for r in records]
assert len(records)>=2 and len(ids)==len(set(ids))
assert all(re.fullmatch(r"[A-Za-z0-9_.-]+",x) for x in ids)
assert all(str(r.seq) and re.fullmatch(r"[A-Za-z]+",str(r.seq)) for r in records)
return {r.id:str(r.seq).upper() for r in records}
jobs=[];seen=set()
with open("jobs.tsv",newline="") as f:
for row in csv.reader(f,delimiter="\t"):
assert len(row)==3
name,path,mode=row
assert re.fullmatch(r"[A-Za-z0-9_-]+",name) and name not in seen
assert mode in {"auto","linsi"}
seen.add(name);jobs.append((name,Path(path).resolve(),mode,read_fasta(path)))
assert jobs
root=Path("mafft-batch-001");root.mkdir()
with (root/"version.txt").open("w") as log:
subprocess.run(["mafft","--version"],stdout=log,stderr=log,check=True)
def run(job):
name,path,mode,original=job;d=root/name;d.mkdir()
opts=["--auto"] if mode=="auto" else ["--localpair","--maxiterate","1000"]
cmd=["/usr/bin/time","-v","-o",str(d/"run.time"),"mafft",
"--amino","--thread","2","--threadit","0",*opts,str(path)]
(d/"command.txt").write_text(repr(cmd))
try:
with (d/"alignment.partial").open("x") as out,(d/"run.log").open("x") as log:
subprocess.run(cmd,stdout=out,stderr=log,check=True)
records=list(SeqIO.parse(d/"alignment.partial","fasta"))
ids=[r.id for r in records]
assert len(ids)==len(set(ids)) and set(ids)==set(original)
assert len({len(r.seq) for r in records})==1
assert all(str(r.seq).upper().replace("-","")==original[r.id] for r in records)
os.rename(d/"alignment.partial",d/"alignment.fa")
return name,"checked"
except Exception as e:
(d/"error.txt").write_text(str(e));return name,"failed"
with ThreadPoolExecutor(max_workers=workers) as pool:status=list(pool.map(run,jobs))
with (root/"status.tsv").open("x",newline="") as f:csv.writer(f,delimiter="\t").writerows(status)
assert all(s=="checked" for _,s in status),"有失败家族,见status.tsv"
验收比对内容,不只看退出码
脚本先拒绝带gap的未比对输入,再核对输出ID、对齐长度及去gap后的序列。失败家族保留partial和日志,不发布alignment.fa,整批最终也返回非零。这里的checked只说明基本文件与序列守恒;错误同源、异常长枝、低质量区域和不适合比较的结构域仍需人工或专门方法检查。
若MAFFT报内存不足,先定位家族规模与实际方法,检查是否一次启动了多个大族。若输出ID丢失或序列改变,不直接绕过断言,应查看输入字符和程序日志。本例严格拒绝终止符号及非常规残基格式,需要事先按明确协议处理;不能为了让检查通过而静默删除字符。
用两次小试决定并发
从短、中、长以及序列数较多的家族中选择代表子集,分别记录workers为1和2时的整批墙钟、单任务RSS及整机峰值。多个GNU time结果的最大值不等于同时峰值,可用调度器或cgroup补充。计算吞吐按通过验收的家族数除以总耗时,不能把失败更快当性能提升。
正式清单保留输入SHA、方法、版本与验收状态,先恢复失败家族而非整批覆盖重跑。批量任务中不要使用–thread -1自动占用所有核心;也不要把–threadit 0描述为所有阶段都单线程或跨平台绝对一致的保证。
清单最好另存每个家族的序列数、总残基数和最长序列,资源异常时先按这些指标定位家族。比较两次试验时核对同一输入SHA,输出长度变化则查看实际方法与迭代日志。已通过的比对需完整保留,后续修剪另存派生版本,不能把修剪文件写回原alignment.fa造成追溯中断。
参考资料
需要额外算力时
适用前提:比对方法适用于序列,家族数量形成持续批处理需求。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
