
Minigraph构图内存不足时,先确认输入符合构图假设,再测每次加入组装的变化。把多个人的序列混进同一FASTA,或把原始reads当组装,不会因增加RAM变成正确流程。本篇按官方增量路线,先加入一个组装,核验中间图,再加入第二个,记录阶段资源。
固定骨架、组装范围与加入顺序
准备参考ref.fa及两个个体组装sample1.fa、sample2.fa,输入已经过质量和污染检查。每份查询代表一个适用的全基因组组装,不将双单倍型或多个个体直接拼成一个文件套用本例;倍性和单倍型表示需先论证。首份参考会构成稳定坐标骨架,输入顺序也是协议。
| 记录项 | 本例处理 | 为什么要留 |
|---|---|---|
| 参考骨架 | ref.fa及校验值 | 影响稳定坐标与后续解释 |
| 查询顺序 | sample1再sample2 | 增量结果可依赖顺序 |
| 构图预设 | -cxggs | 含碱基比对的图生成 |
| 阶段产物 | step1.gfa、step2.gfa | 定位容量增长与恢复边界 |
分两次构建,保留每次日志
需要已验收Minigraph和gfatools。四线程为演示,路径按实际替换。官方将连续加入与分阶段增量展示为等价入口;这里分开运行便于测量,不能把多个任务同时写进同一GFA。重跑使用新目录,不覆盖已验收阶段。
set -euo pipefail
ref=/data/ref.fa
q1=/data/sample1.fa
q2=/data/sample2.fa
test -s "$ref"
test -s "$q1"
test -s "$q2"
mkdir minigraph-pilot-001
cd minigraph-pilot-001
minigraph --version > version.txt 2>&1
sha256sum "$ref" "$q1" "$q2" > inputs.sha256
/usr/bin/time -v -o step1.resources.txt minigraph -cxggs -t4 \
"$ref" "$q1" > step1.gfa 2> step1.log
test -s step1.gfa
gfatools gfa2fa -s step1.gfa > step1.stable.fa
test -s step1.stable.fa
/usr/bin/time -v -o step2.resources.txt minigraph -cxggs -t4 \
step1.gfa "$q2" > step2.gfa 2> step2.log
test -s step2.gfa
gfatools gfa2fa -s step2.gfa > step2.stable.fa
test -s step2.stable.fa
统计图变化,核对稳定序列
下面逐行统计节点及序列长度,不把GFA全部读进内存。它只接受本例含实际节点序列的S行,并拒绝重复节点ID;不是完整GFA/rGFA合法性验证。stable FASTA仍需与参考骨架、标签和关键区域对应检查,不只比较文件字节数。
from pathlib import Path
for name in ["step1.gfa","step2.gfa"]:
ids=set();bases=0;links=0
with Path(name).open() as f:
for line in f:
v=line.rstrip("\n").split("\t")
if v[0]=="S":
assert len(v)>=3 and v[1] not in ids and v[2]!="*"
ids.add(v[1]);bases+=len(v[2])
elif v[0]=="L":links+=1
assert ids
print(name,"segments",len(ids),"bases",bases,"links",links)
节点增加不自动代表有价值的新变异,也不等于所有SNP与短indel都被完整表示。Minigraph主要面向结构变异尺度的图生成,复杂或高度发散输入应按官方限制评估。出现异常图增长,先排查污染、冗余、错误组装和输入代表范围,不能为省内存任意删去难处理样本。
根据阶段峰值判断容量缺口
记录每阶段输入总长、图节点和碱基数、运行时间、RSS及输出/临时空间。后续加入的组装会读取不断扩大的图,不能把第一阶段RAM简单乘样本数作为最终配置。用目标方法和有代表性的组装组合试跑,CPU占用低时也检查I/O及输入读取。
若日志提示格式或序列异常,先修输入;若被OOM杀死,再用作业监控确认真实峰值与限额。线程改动也可能改变内存行为,测试时固定其他条件。保留中间图、版本、输入顺序和命令,只有兼容协议下才从已验收图继续,不从残留半份GFA恢复。
工作盘应包含参考、组装、中间图、稳定序列、失败现场和待交接副本。计划删除中间图前确认最终结果可重建、来源记录完整;只是目录存在或文件较大,都不足以说明构图已经完成。必要流程实测仍有RAM缺口时,才据此选择更大内存资源。
最小试跑也要覆盖可能引起图增长的重复和结构差异区域;仅截取一段高度保守序列测得很低RAM,不能据此推算整个基因组。
参考资料
需要额外算力时
适用前提:输入适用且工具流程正确,图构建实测内存超出可用容量。如需额外资源,可评估大内存CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
