云生信学生物信息学

结合系统日志区分OOM、配额与人为终止

作者:发布于 2026-11-16更新于 2026-11-15约 5 分钟阅读
Killed之后,先找终止证据

Killed之后,先找终止证据:保留原命令与阶段日志;匹配系统或作业时间;核对实际控制组额度;按证据决定重跑方式
本文操作与检查路径示意。

Cell Ranger日志出现“Killed”或非零退出时,不要先把原因定为内存不足。可能是输入预检失败、运行中阶段错误、磁盘耗尽、作业额度触顶、节点故障或用户/管理员取消。先保留pipestance和原始日志,再用同一时间段的调度器、cgroup或系统证据判断,避免调错资源、删掉可续跑目录,或把文件错误误认为硬件不够。

先确认失败发生在哪个阶段

10x将失败区分为preflight、in-flight和alert等情况。预检阶段常见于FASTQ、reference、参数或权限问题,通常在正式计算前就退出;运行中失败则要看具体stage日志和系统状态。保存完整命令、Cell Ranger版本、开始结束时间、退出码和输出目录,不要只截最后一行。Cell Ranger工作目录会包含运行日志、阶段错误文件和stdout/stderr,可用下面命令定位:

find sample_id -type f \
  \( -name errors -o -name stderr -o -name stdout \) -print
find sample_id -name errors -exec sh -c \
  'echo "--- $1"; cat "$1"' _ {} \;
tail -n 80 sample_id/log

失败目录中的errors会指出停止阶段及直接错误;但“直接错误”不一定是根因。例如某stage报告无法写文件,可能是工作盘满、权限或inode耗尽,而不是该程序崩溃。先将错误文件与时间戳、磁盘状态和作业结束时间对应起来。不要先删除pipestance;官方说明在原因修复后通常可用原命令从失败阶段恢复。

把内存证据分成主机和作业两层

如果使用Slurm,查任务状态、退出码、申请资源和最大RSS;若状态为OUT_OF_MEMORY,说明调度系统登记为内存失败。命令示例:

sacct -j "$SLURM_JOB_ID" \
  --format=JobID,State,ExitCode,Elapsed,ReqMem,MaxRSS
free -h
df -h /path/to/work
df -i /path/to/work

主机free -h只显示主机视角,任务可能受到Slurm、容器或cgroup更低的限额。cgroup v2的memory.events含max、oom和oom_kill计数;应由有权限的管理员查看对应作业的控制组,而不是猜一个路径。Slurm的MaxRSS也依赖集群记账配置和采样方式,短时峰值可能没有采到,所以要结合任务状态、stderr、系统日志和其他证据。

观察到的情况 优先核对 下一步
预检立即退出 FASTQ、reference、参数、权限 修正输入后再做小试跑
Slurm标记OUT_OF_MEMORY ReqMem、MaxRSS、cgroup事件 核对额度或降低并发
输出写入失败 挂载点空间、inode、配额、权限 先解决存储条件
用户取消/节点失败 作业状态、系统事件和管理员记录 确认可恢复状态后再安排

退出码、终端显示的“Killed”或某一个错误词,都不应单独作为OOM结论。先把发生时间、Cell Ranger的失败stage、作业状态和日志放在一起看,再判断属于主机全局内存还是单任务限制。如果当前用户看不到系统事件或控制组文件,记录这一权限缺口,请管理员按同一时间段核对,而不是反复用更大额度试错。

注意隐私与调试包

Cell Ranger失败时可能生成debug tarball,其中包含日志和运行元数据。提交给10x支持前,先按课题组的数据管理要求确认是否含有样本信息、路径、用户名或其他受限内容。留在组内排查时也要把FASTQ、日志和参考清单按权限保存。若日志证据不够,整理最小复现信息、失败stage、软件版本与资源记录,请管理员查看对应时间段的系统或作业日志。

最终记录应写成“失败发生阶段+证据来源+已排除原因”,而不是只写“内存不够”。只有作业级内存事件或其他独立证据支持时,才增加内存或减少并发;若根因是输入、配额、磁盘或取消,调整服务器规格不会解决它。

下载练习材料

下载教程 PDF · 下载代码与示例数据 ZIP

先核对包内SHA256清单,再在独立目录复现。

需要额外算力时

适用前提:日志证明内存不足后才推荐增加内存。如需额外资源,可评估大内存独享CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗