
SSH连接断开后任务停止,先确认它是否直接运行在该终端、收到挂断信号,还是恰好因内存、时限或主机重启而结束。连接问题和计算资源问题需要分别判断;仅换一台更大机器,不能修复错误的任务启动方式。
先检查现有任务是否仍在运行
重新登录后,查看自己的进程、原日志和平台作业状态。不要看不到终端就立刻再启动一份,否则可能重复写同一个结果目录。已有批任务调度系统时优先使用平台提交方式,登录节点不一定允许长时间计算。
下面使用已安装的tmux管理个人交互会话。它能让会话在SSH断开后继续存在,但不能保证主机重启、管理员回收、作业额度耗尽或系统终止后恢复。先记录版本并检查已有会话,确认不会使用别人的工作位置。
tmux -V
tmux list-sessions
# 确认没有同名会话后,新建个人会话
tmux new-session -s analysis-pilot
没有任何会话时list-sessions可能报找不到服务,这不等于tmux安装坏了。进入新会话后,切换到项目根目录,确认环境和输入。不要假定新会话自动继承另一终端刚设置的所有环境变量,启动前核对解释器与主工具路径。
把日志和退出状态写到磁盘
以下在tmux窗格内执行,假定项目已有run_analysis.sh且使用独立输出目录。它把两种输出分别保存,记录命令退出码;日志目录必须尚不存在。脚本内部的失败处理也必须正确,外层只能记录它实际返回的状态。
set -u
run=logs/pilot-001
test -r run_analysis.sh || exit 2
mkdir -p logs
mkdir "$run" || exit 2
date -u '+%Y-%m-%dT%H:%M:%SZ' > "$run/started.txt"
if bash run_analysis.sh > "$run/stdout.log" 2> "$run/stderr.log"; then
code=0
else
code=$?
fi
printf '%s\n' "$code" > "$run/exit-code.txt"
date -u '+%Y-%m-%dT%H:%M:%SZ' > "$run/ended.txt"
exit "$code"
任务运行时按Ctrl-b,松开后按d即可分离,不是按Ctrl-c停止。可以先做一个短测试,确认分离再连接后日志继续增长,再提交正式任务。不要用关闭整个tmux服务的命令作为退出方式。
重新连接并检查任务
重新SSH登录后,执行下例连接同一个会话。若任务已完成且窗格退出,会话可能已经消失,应查看落盘日志和退出码,不能因此认定任务被断网杀掉。
tmux list-sessions
tmux attach-session -t analysis-pilot
# 在另一终端查看落盘日志
tail -n 30 logs/pilot-001/stderr.log
| 状态 | 可能含义 | 下一步 |
|---|---|---|
| 会话还在、任务有进度 | 脱离终端后仍运行 | 继续按日志观察 |
| 退出码非零 | 命令明确失败 | 定位最早实质错误 |
| 无结束记录、进程已无 | 重启、强制终止或外部回收 | 核对系统或平台记录 |
| 退出码零 | 入口脚本返回成功 | 继续核对必要输出和质量 |
结束记录和退出码属于本次启动目录,查看时先确认任务标签,避免把上一次成功的记录误当成当前进度。
知道tmux能解决到哪一层
日志不增长也可能是程序缓冲或正在长阶段计算,结合CPU、磁盘和软件自身进度判断,不反复重启。若确认进程被OOM或作业时限终止,应处理对应额度;tmux不会增加内存、延长平台时限或替代检查点。
需要自动重试、依赖调度或重启恢复时,将任务整理为批脚本并采用平台支持的管理工具。最终验收仍要检查预期样本、文件可读性和分析指标,不能仅凭tmux窗口还在或退出码为零认定研究结果完整。
需要额外算力时
适用前提:任务持续时间与本地运行条件不匹配,不因断连本身推销扩容。如需额外资源,可评估按项目周期租赁计算资源。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
