
Cell Ranger日志出现“Killed”或非零退出时,不要先把原因定为内存不足。可能是输入预检失败、运行中阶段错误、磁盘耗尽、作业额度触顶、节点故障或用户/管理员取消。先保留pipestance和原始日志,再用同一时间段的调度器、cgroup或系统证据判断,避免调错资源、删掉可续跑目录,或把文件错误误认为硬件不够。
先确认失败发生在哪个阶段
10x将失败区分为preflight、in-flight和alert等情况。预检阶段常见于FASTQ、reference、参数或权限问题,通常在正式计算前就退出;运行中失败则要看具体stage日志和系统状态。保存完整命令、Cell Ranger版本、开始结束时间、退出码和输出目录,不要只截最后一行。Cell Ranger工作目录会包含运行日志、阶段错误文件和stdout/stderr,可用下面命令定位:
find sample_id -type f \
\( -name errors -o -name stderr -o -name stdout \) -print
find sample_id -name errors -exec sh -c \
'echo "--- $1"; cat "$1"' _ {} \;
tail -n 80 sample_id/log
失败目录中的errors会指出停止阶段及直接错误;但“直接错误”不一定是根因。例如某stage报告无法写文件,可能是工作盘满、权限或inode耗尽,而不是该程序崩溃。先将错误文件与时间戳、磁盘状态和作业结束时间对应起来。不要先删除pipestance;官方说明在原因修复后通常可用原命令从失败阶段恢复。
把内存证据分成主机和作业两层
如果使用Slurm,查任务状态、退出码、申请资源和最大RSS;若状态为OUT_OF_MEMORY,说明调度系统登记为内存失败。命令示例:
sacct -j "$SLURM_JOB_ID" \
--format=JobID,State,ExitCode,Elapsed,ReqMem,MaxRSS
free -h
df -h /path/to/work
df -i /path/to/work
主机free -h只显示主机视角,任务可能受到Slurm、容器或cgroup更低的限额。cgroup v2的memory.events含max、oom和oom_kill计数;应由有权限的管理员查看对应作业的控制组,而不是猜一个路径。Slurm的MaxRSS也依赖集群记账配置和采样方式,短时峰值可能没有采到,所以要结合任务状态、stderr、系统日志和其他证据。
| 观察到的情况 | 优先核对 | 下一步 |
|---|---|---|
| 预检立即退出 | FASTQ、reference、参数、权限 | 修正输入后再做小试跑 |
| Slurm标记OUT_OF_MEMORY | ReqMem、MaxRSS、cgroup事件 | 核对额度或降低并发 |
| 输出写入失败 | 挂载点空间、inode、配额、权限 | 先解决存储条件 |
| 用户取消/节点失败 | 作业状态、系统事件和管理员记录 | 确认可恢复状态后再安排 |
退出码、终端显示的“Killed”或某一个错误词,都不应单独作为OOM结论。先把发生时间、Cell Ranger的失败stage、作业状态和日志放在一起看,再判断属于主机全局内存还是单任务限制。如果当前用户看不到系统事件或控制组文件,记录这一权限缺口,请管理员按同一时间段核对,而不是反复用更大额度试错。
注意隐私与调试包
Cell Ranger失败时可能生成debug tarball,其中包含日志和运行元数据。提交给10x支持前,先按课题组的数据管理要求确认是否含有样本信息、路径、用户名或其他受限内容。留在组内排查时也要把FASTQ、日志和参考清单按权限保存。若日志证据不够,整理最小复现信息、失败stage、软件版本与资源记录,请管理员查看对应时间段的系统或作业日志。
最终记录应写成“失败发生阶段+证据来源+已排除原因”,而不是只写“内存不够”。只有作业级内存事件或其他独立证据支持时,才增加内存或减少并发;若根因是输入、配额、磁盘或取消,调整服务器规格不会解决它。
下载练习材料
先核对包内SHA256清单,再在独立目录复现。
需要额外算力时
适用前提:日志证明内存不足后才推荐增加内存。如需额外资源,可评估大内存独享CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
- Troubleshooting Cell Ranger Errors(10x官方)
- Cell Ranger v10.1命令行参数(10x官方)
- Linux cgroup v2内存事件(内核官方文档)
- Slurm sacct作业账单命令(SchedMD官方)
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
