结合系统日志区分OOM、配额与人为终止

Cell Ranger日志出现“Killed”或非零退出时,不要先把原因定为内存不足。可能是输入预检失败、运行中阶段错误、磁盘耗尽、作业额度触顶、节点故障或用户/管理员取消。先保留pipestance和原始日志,再用同一时间段的调度器、cgroup或系统证据判断,避免调错资源、删掉可续跑目录,或把文件错误误认为硬件不够。

先确认失败发生在哪个阶段

10x将失败区分为preflight、in-flight和alert等情况。预检阶段常见于FASTQ、reference、参数或权限问题,通常在正式计算前就退出;运行中失败则要看具体stage日志和系统状态。保存完整命令、Cell Ranger版本、开始结束时间、退出码和输出目录,不要只截最后一行。Cell Ranger工作目录会包含运行日志、阶段错误文件和stdout/stderr,可用下面命令定位:

find sample_id -type f \
  \( -name errors -o -name stderr -o -name stdout \) -print
find sample_id -name errors -exec sh -c \
  'echo "--- $1"; cat "$1"' _ {} \;
tail -n 80 sample_id/log

失败目录中的errors会指出停止阶段及直接错误;但“直接错误”不一定是根因。例如某stage报告无法写文件,可能是工作盘满、权限或inode耗尽,而不是该程序崩溃。先将错误文件与时间戳、磁盘状态和作业结束时间对应起来。不要先删除pipestance;官方说明在原因修复后通常可用原命令从失败阶段恢复。

把内存证据分成主机和作业两层

如果使用Slurm,查任务状态、退出码、申请资源和最大RSS;若状态为OUT_OF_MEMORY,说明调度系统登记为内存失败。命令示例:

sacct -j "$SLURM_JOB_ID" \
  --format=JobID,State,ExitCode,Elapsed,ReqMem,MaxRSS
free -h
df -h /path/to/work
df -i /path/to/work

主机free -h只显示主机视角,任务可能受到Slurm、容器或cgroup更低的限额。cgroup v2的memory.events含max、oom和oom_kill计数;应由有权限的管理员查看对应作业的控制组,而不是猜一个路径。Slurm的MaxRSS也依赖集群记账配置和采样方式,短时峰值可能没有采到,所以要结合任务状态、stderr、系统日志和其他证据。

观察到的情况优先核对下一步
预检立即退出FASTQ、reference、参数、权限修正输入后再做小试跑
Slurm标记OUT_OF_MEMORYReqMem、MaxRSS、cgroup事件核对额度或降低并发
输出写入失败挂载点空间、inode、配额、权限先解决存储条件
用户取消/节点失败作业状态、系统事件和管理员记录确认可恢复状态后再安排

退出码、终端显示的“Killed”或某一个错误词,都不应单独作为OOM结论。先把发生时间、Cell Ranger的失败stage、作业状态和日志放在一起看,再判断属于主机全局内存还是单任务限制。如果当前用户看不到系统事件或控制组文件,记录这一权限缺口,请管理员按同一时间段核对,而不是反复用更大额度试错。

注意隐私与调试包

Cell Ranger失败时可能生成debug tarball,其中包含日志和运行元数据。提交给10x支持前,先按课题组的数据管理要求确认是否含有样本信息、路径、用户名或其他受限内容。留在组内排查时也要把FASTQ、日志和参考清单按权限保存。若日志证据不够,整理最小复现信息、失败stage、软件版本与资源记录,请管理员查看对应时间段的系统或作业日志。

最终记录应写成“失败发生阶段+证据来源+已排除原因”,而不是只写“内存不够”。只有作业级内存事件或其他独立证据支持时,才增加内存或减少并发;若根因是输入、配额、磁盘或取消,调整服务器规格不会解决它。