
nf-core/rnaseq失败后,先保留日志、启动目录与work目录。Nextflow的-resume会检查缓存和既有任务输出,不能把它理解为跳过所有已跑过的步骤。只保留results通常不够;删掉work再恢复,很多计算仍需重做。
定位第一个有效错误
在原启动目录执行下列命令。先查看历史运行名,再把NF_RUN填为本次失败运行,不猜最后一个终端窗口对应哪次任务。log字段可先用-l查询;历史记录不存在时,应先找正确启动目录或原缓存位置。
nextflow -version
nextflow log
nextflow log -l
: "${NF_RUN:?填写要诊断的历史运行名}"
nextflow log "$NF_RUN" -f name,status,exit,workdir > failed-run-tasks.tsv
tail -n 100 .nextflow.log
# 从上表选择实际失败任务目录,不照抄示意路径
TASK_DIR=/absolute/project/work/ab/task_hash
test -d "$TASK_DIR" || exit 2
for name in .exitcode .command.err .command.log; do
if test -f "$TASK_DIR/$name"; then
tail -n 60 "$TASK_DIR/$name"
fi
done
.nextflow.log通常提供失败进程名、退出状态和工作目录。进入对应任务查看真实命令、标准错误及输入链接,但不要直接编辑.command.sh再期待缓存语义不变。上游输入错误可能引发很多下游取消,应先找触发终止的原因,而非把每个取消任务分别扩容。
| 证据 | 先核对 | 恢复前应完成 |
|---|---|---|
| 输入或参考检查失败 | 样本表、路径、FASTA/GTF配套 | 修复错误并记录变更 |
| 容器拉取或启动失败 | 镜像、网络、运行时与挂载 | 确认同执行节点可访问 |
| 137、OOM或时限线索 | 作业/控制组记录与失败时间 | 确认原因后改额度或并发 |
| 任务被重新执行 | 哈希、work输出和缓存是否保留 | 判断重新执行是否合理 |
检查恢复依赖是否还在
官方文档说明,默认任务缓存位于启动目录的.nextflow/cache;恢复还要使用对应work任务目录,要求输出存在且退出状态有效。输入路径、内容属性、任务代码、容器或参数改变都可能改变任务哈希。缓存不是一份与原数据和环境脱离的万能检查点。
核对原来的-w路径、容器缓存、输入可读性和结果目录权限。若数据已迁移,先确认完整依赖及链接,再评估哪些任务可复用。不要手动写成功退出码、补空文件或移动失败输出去骗过检查;这会让后续结果失去依据。
按原修订版恢复
下面假设params.json与site.config是原运行保留的参数和配置,流程修订版、容器profile、work路径均已确认。将变量填成原记录;若没有site.config,应按原命令移除该选项,而不是创建一份猜测配置。资源修复也要保存新旧差异。
: "${NF_REV:?填写原流程标签或提交}"
: "${NF_PROFILE:?填写原profile}"
: "${NF_WORK:?填写原work绝对路径}"
nextflow run nf-core/rnaseq -r "$NF_REV" \
-profile "$NF_PROFILE" -params-file params.json -c site.config \
-w "$NF_WORK" -resume "$NF_RUN" \
-with-trace resumed-trace.tsv -with-report resumed-report.html
恢复时确认终端中的cached与重新提交任务符合预期,并查看最终工作流状态、trace和MultiQC等正式输出。cached数量多并非科学结果正确的证据;修正输入后应重算的阶段,反而需要确认没有错误复用。新版本流程也不保证能复用旧版本全部计算。
若失败仍重复,保存新的失败阶段与资源证据,逐项验证假设。缓存、work和日志在结果验收及保留安排明确之前继续保存。完成后留下恢复命令、修订版、改动、重算范围与验收结果,下一次维护才知道哪些成果能安全复用。
容器错误还要检查原命令所在节点能否看到输入挂载,而不仅是登录节点能否列出文件。同名路径在不同节点可能指向不同内容;输入链接失效、镜像缓存损坏和临时盘满,应分别留下证据。不要把所有容器退出都归为软件依赖版本问题。
参考资料
需要额外算力时
适用前提:流程错误修复后仍缺稳定资源或容器环境。如需额外资源,可评估服务器租赁及按需环境部署。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
