
长任务可恢复,首先需要知道哪些阶段已经通过验收。让命令在后台运行只能应对部分断连;它不能说明中途输出是否完整,也不代表任意软件都支持内部断点续算。先把批次拆成有明确输入与结果的任务,再记录每次尝试的状态。
先定义任务清单和成功条件
清单至少包括样本ID、输入路径与校验值、软件版本、参数、本次目录和验收状态。一个样本失败时保留其尝试目录,重跑另建新目录,不在不完整结果旁边悄悄写“完成”。判断跳过已完成任务时,应确认输入、方法、版本和必要结果均未改变。
| 状态 | 记录依据 | 恢复方式 |
|---|---|---|
| 尚未启动 | 清单中没有尝试记录 | 按计划新建任务 |
| 执行失败 | 非零退出与错误日志 | 修复原因后用新目录重试 |
| 执行中断 | 无结束状态且任务已不存在 | 确认平台记录再决定重试 |
| 命令检查通过 | 退出零且规定检查通过 | 仍需科学或项目质量验收 |
给单任务写一个完整入口
下面以已安装samtools的BAM坐标排序为例,INPUT_BAM为可读输入,RUN为新的尝试目录。SORT_THREADS是sort的排序与压缩线程参数,主线程、I/O及其他开销仍按实际总CPU测量;MEM_PER_THREAD按sort接受的内存写法填写,预算应考虑线程数量和额外开销。
#!/usr/bin/env bash
set -eu
: "${INPUT_BAM:?填写输入BAM绝对路径}"
: "${RUN:?填写不存在的尝试目录}"
: "${SORT_THREADS:?填写获配范围内的排序压缩线程数}"
: "${MEM_PER_THREAD:?填写每线程sort内存如256M}"
case "$SORT_THREADS" in ""|*[!0-9]*) exit 2;; esac
test "$SORT_THREADS" -ge 1 || exit 2
test -r "$INPUT_BAM" && test ! -e "$RUN" || exit 2
mkdir "$RUN"
trap 'code=$?; printf "%s\n" "$code" > "$RUN/exit-code.txt"' EXIT
mkdir "$RUN/tmp"
sha256sum "$INPUT_BAM" > "$RUN/input.sha256"
samtools --version > "$RUN/tool-version.txt"
samtools sort -@ "$SORT_THREADS" -m "$MEM_PER_THREAD" \
-T "$RUN/tmp/sort" -o "$RUN/sorted.bam" "$INPUT_BAM" \
> "$RUN/stdout.log" 2> "$RUN/stderr.log"
samtools quickcheck -v "$RUN/sorted.bam" > "$RUN/check.log" 2>&1
samtools index "$RUN/sorted.bam" >> "$RUN/check.log" 2>&1
printf '%s\n' COMMAND_CHECK_OK > "$RUN/status.txt"
入口返回失败时不会生成成功标记;突然断电或被强制终止时,EXIT记录也可能来不及写,因此缺退出码不等于成功。排序、quickcheck和索引只是本例规定的命令检查,不验证全部记录内容、比对率或样本身份。
恢复不是盲目重新运行
每次启动前先查清单、进程和已有目录,确认上一尝试已结束。对有有效结果且输入与参数一致的样本,按既定验收记录复用;对失败或未验收样本,修复后新增尝试。不能仅看目录存在、文件非空或旧标记,就自动跳过。
若使用工作流引擎,按它的缓存与恢复规则保存工作目录;若软件自身有检查点,只按该版本支持的输入与重启方式继续。示例的排序入口并不支持从任意临时块接着计算,应重新运行该样本,不手工拼接残缺BAM。
批次总状态应汇总每个样本的验收记录,任何必要样本失败都不能写成全批完成;仍在运行的样本保留独立状态,不把它计作成功或直接重复提交。
把资源与失败分支一起验证
先用小输入验证正常、坏输入和缺输出三个分支,确认失败不会被总批次写成完成。再测代表任务的RAM、工作盘和时长,并设置允许的并发;多样本各自增加线程,可能超过总预算而更慢。
最后把代码与参数版本、每次尝试目录、验收结果和保留周期一起交接。停止或重启任务前只操作自己确认的进程,旧结果保留到新结果验收和归档完成,再按约定处理,而不是在恢复脚本中自动清空整批目录。
需要额外算力时
适用前提:任务持续时间与本地运行条件不匹配,不因断连本身推销扩容。如需额外资源,可评估按项目周期租赁计算资源。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
