云生信学生物信息学

Flye阶段监控教程:日志、内存峰值与中间结果管理

作者:发布于 2026-11-22更新于 2026-11-15约 8 分钟阅读
Flye中断先看阶段

Flye中断先看阶段:固定读段入口;记录阶段资源;保留完整中间文件;核验最终组装
本文操作与检查路径示意。

Flye运行时间长,先要分清卡在哪个阶段,而不是见到进程结束就增加内存。本例按Flye 2.9.6文档,面向R10 ONT高质量读段的普通基因组组装。默认结果也不等于二倍体完整分相;杂合、重复和污染仍要靠结果证据判断。

一、固定读段类型与初次运行

当前–nano-hq默认面向约3%错误率的读段;R9 Guppy5高质量数据需按官方说明考虑–read-error 0.05,旧高错误率数据及HiFi使用各自入口,不混用读段类型。基因组大小来自生物学估计,不能拿期望结果反向凑参数。本例路径不用空白,压缩文件应先独立检查完整性。

set -euo pipefail
: "${READS:?R10 ONT高质量reads绝对路径}" "${GENOME_SIZE:?如5m或2.6g}"
: "${THREADS:?1至128,且不超过获配额度}" "${OUT:?本次全新绝对路径}"
[[ "$THREADS" =~ ^[1-9][0-9]*$ ]] || exit 2
test "$THREADS" -le 128 || exit 2
[[ "$GENOME_SIZE" =~ ^[1-9][0-9]*([.][0-9]+)?[kKmMgG]?$ ]] || exit 2
case "$READS" in *[[:space:]]*) echo "输入路径不要含空白" >&2; exit 2;; esac
test -s "$READS"
test ! -e "$OUT" && test ! -L "$OUT" || exit 2
mkdir "$OUT"
flye --version > "$OUT/version.txt"
sha256sum "$READS" > "$OUT/inputs.sha256"
/usr/bin/time -v -o "$OUT/initial.time.txt" \
  flye --nano-hq "$READS" --genome-size "$GENOME_SIZE" \
  --threads "$THREADS" --out-dir "$OUT/assembly" \
  > "$OUT/initial.console.log" 2>&1
for f in assembly.fasta assembly_graph.gfa assembly_info.txt; do
  test -s "$OUT/assembly/$f" || exit 1
done
printf '%s\n' COMMAND_AND_FILES_OK > "$OUT/status.txt"

先导出这些环境变量,再在新的目录运行。脚本只接受以非零整数开头的大小写法,例如5m、2.6g;线程取获配额度内的值,当前入口范围为1至128。资源日志是这次整段进程的记录,不会自动给每个算法阶段分别标记内存峰值。

现象 先查的证据 下一步
日志继续但进度慢 flye.log阶段、CPU和I/O 判断算法阶段或磁盘等待
Killed或退出137 调度器、容器额度与OOM记录 区分内存终止、配额或人工停止
空间不足 工作盘、配额和中间文件 扩展空间后评估恢复
正常退出 最终三文件及日志结束状态 继续做组装质量核验

二、监控和保留恢复条件

运行中只读查看assembly/flye.log的阶段记录,并用独立监控采样进程和磁盘;du得到的是当前占用,不是历史磁盘峰值。中断时保留params.json和完整阶段目录,不要只拷贝最后一个FASTA。恢复前确认原输入哈希、软件版本、参数及中间文件仍一致,在原环境设置相同变量后执行:

set -euo pipefail
: "${READS:?使用原输入}" "${GENOME_SIZE:?使用原估计值}"
: "${THREADS:?使用原线程设置}" "${OUT:?原任务绝对路径}"
[[ "$THREADS" =~ ^[1-9][0-9]*$ ]] || exit 2
test "$THREADS" -le 128 || exit 2
test -s "$OUT/assembly/params.json"
test ! -e "$OUT/resume-001.time.txt" && test ! -L "$OUT/resume-001.time.txt" || exit 2
sha256sum -c "$OUT/inputs.sha256"
flye --version > "$OUT/resume-001.version.txt"
cmp "$OUT/version.txt" "$OUT/resume-001.version.txt"
/usr/bin/time -v -o "$OUT/resume-001.time.txt" \
  flye --nano-hq "$READS" --genome-size "$GENOME_SIZE" \
  --threads "$THREADS" --out-dir "$OUT/assembly" --resume \
  > "$OUT/resume-001.console.log" 2>&1
for f in assembly.fasta assembly_graph.gfa assembly_info.txt; do
  test -s "$OUT/assembly/$f" || exit 1
done
printf '%s\n' COMMAND_AND_FILES_OK > "$OUT/status.txt"

恢复命令仍带原来的读段类型入口;当前参数解析要求输入类型,不能只留下–resume。再次恢复要换一个未使用的日志编号。缺少中间文件或版本不一致时停止,保留证据后按新任务重跑,不手改阶段标记让程序强行跳过。

三、验收和资源判断

检查assembly_info中的覆盖和重复标记、图结构、总长度及碎片分布,并结合回贴、k-mer或保守基因完整度评估;三文件存在只说明基本输出齐全。–asm-coverage会改变初始装配选用的读段子集,需要基因组大小,它不是进程内存硬上限。只有输入与方法固定、确认实际资源缺口后,才用同一任务讨论更大额度,不能把更多GPU或CPU直接当组装正确性的保证。

为每次运行保留一个简短记录表,写入原始碱基量、长度分布、测序化学与basecaller、基因组大小依据、线程及实际作业额度。发生中断时补上最后阶段、时间点和调度器原因;不在日志里留下明确事件,就很难判断第二次运行是否真的解决了原问题。

分阶段比较时,以日志的阶段时间戳对齐外部监控采样,而不是把整段最大RSS归给最后阶段。节点上的其他作业也会消耗内存和磁盘带宽,单个进程的低CPU利用率可能来自I/O等待,不能据此保证增加线程有效。

需要额外算力时

适用前提:输入和组装方案合理,任务峰值与持续运行要求超过本地条件。如需额外资源,可评估大内存CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗