云生信学生物信息学

从日志定位资源、容器和输入错误并检查缓存

作者:发布于 2026-11-16更新于 2026-11-15约 5 分钟阅读
失败后先找原因,再恢复

失败后先找原因,再恢复:定位失败任务目录;读取错误与平台证据;保留cache和work;按原修订版验收恢复
本文操作与检查路径示意。

nf-core/rnaseq失败后,先保留日志、启动目录与work目录。Nextflow的-resume会检查缓存和既有任务输出,不能把它理解为跳过所有已跑过的步骤。只保留results通常不够;删掉work再恢复,很多计算仍需重做。

定位第一个有效错误

在原启动目录执行下列命令。先查看历史运行名,再把NF_RUN填为本次失败运行,不猜最后一个终端窗口对应哪次任务。log字段可先用-l查询;历史记录不存在时,应先找正确启动目录或原缓存位置。

nextflow -version
nextflow log
nextflow log -l
: "${NF_RUN:?填写要诊断的历史运行名}"
nextflow log "$NF_RUN" -f name,status,exit,workdir > failed-run-tasks.tsv
tail -n 100 .nextflow.log
# 从上表选择实际失败任务目录,不照抄示意路径
TASK_DIR=/absolute/project/work/ab/task_hash
test -d "$TASK_DIR" || exit 2
for name in .exitcode .command.err .command.log; do
  if test -f "$TASK_DIR/$name"; then
    tail -n 60 "$TASK_DIR/$name"
  fi
done

.nextflow.log通常提供失败进程名、退出状态和工作目录。进入对应任务查看真实命令、标准错误及输入链接,但不要直接编辑.command.sh再期待缓存语义不变。上游输入错误可能引发很多下游取消,应先找触发终止的原因,而非把每个取消任务分别扩容。

证据 先核对 恢复前应完成
输入或参考检查失败 样本表、路径、FASTA/GTF配套 修复错误并记录变更
容器拉取或启动失败 镜像、网络、运行时与挂载 确认同执行节点可访问
137、OOM或时限线索 作业/控制组记录与失败时间 确认原因后改额度或并发
任务被重新执行 哈希、work输出和缓存是否保留 判断重新执行是否合理

检查恢复依赖是否还在

官方文档说明,默认任务缓存位于启动目录的.nextflow/cache;恢复还要使用对应work任务目录,要求输出存在且退出状态有效。输入路径、内容属性、任务代码、容器或参数改变都可能改变任务哈希。缓存不是一份与原数据和环境脱离的万能检查点。

核对原来的-w路径、容器缓存、输入可读性和结果目录权限。若数据已迁移,先确认完整依赖及链接,再评估哪些任务可复用。不要手动写成功退出码、补空文件或移动失败输出去骗过检查;这会让后续结果失去依据。

按原修订版恢复

下面假设params.json与site.config是原运行保留的参数和配置,流程修订版、容器profile、work路径均已确认。将变量填成原记录;若没有site.config,应按原命令移除该选项,而不是创建一份猜测配置。资源修复也要保存新旧差异。

: "${NF_REV:?填写原流程标签或提交}"
: "${NF_PROFILE:?填写原profile}"
: "${NF_WORK:?填写原work绝对路径}"
nextflow run nf-core/rnaseq -r "$NF_REV" \
  -profile "$NF_PROFILE" -params-file params.json -c site.config \
  -w "$NF_WORK" -resume "$NF_RUN" \
  -with-trace resumed-trace.tsv -with-report resumed-report.html

恢复时确认终端中的cached与重新提交任务符合预期,并查看最终工作流状态、trace和MultiQC等正式输出。cached数量多并非科学结果正确的证据;修正输入后应重算的阶段,反而需要确认没有错误复用。新版本流程也不保证能复用旧版本全部计算。

若失败仍重复,保存新的失败阶段与资源证据,逐项验证假设。缓存、work和日志在结果验收及保留安排明确之前继续保存。完成后留下恢复命令、修订版、改动、重算范围与验收结果,下一次维护才知道哪些成果能安全复用。

容器错误还要检查原命令所在节点能否看到输入挂载,而不仅是登录节点能否列出文件。同名路径在不同节点可能指向不同内容;输入链接失效、镜像缓存损坏和临时盘满,应分别留下证据。不要把所有容器退出都归为软件依赖版本问题。

参考资料

需要额外算力时

适用前提:流程错误修复后仍缺稳定资源或容器环境。如需额外资源,可评估服务器租赁及按需环境部署。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗