按确认的失败原因设置资源限制并重跑验证

查明失败原因后,再决定重跑策略。一次只改变与证据相符的条件,并保持输入、参考、软件版本和其他分析参数不变,重跑结果才有比较意义。若FASTQ或pipeline选错,应修正输入问题;如果作业内存额度被触顶,才讨论提高额度或降低并发;如果磁盘或inode耗尽,则先处理存储。本文给出 Cell Ranger 失败后的安全恢复顺序。

重跑前先确认目录和任务状态

先确认原进程已结束、作业不再运行,保存失败日志并检查工作盘空间。Cell Ranger通常可在原因修复后,用相同命令和pipestance目录从失败阶段恢复;命令参数必须与原任务一致。若要改变pipeline或分析参数,应先阅读目标版本的恢复说明,在确认旧任务终止且数据可保留后,使用新的输出ID做独立运行。不要在进程仍运行时删除lock或目录。

按证据只改一项条件

已确认原因对应处理保持不变的内容
FASTQ或参考路径错误修正路径、样本名或权限,再做预检数据版本和分析目标
作业内存额度不足调高本任务额度或降低并发输入、pipeline和reference
临时盘写满清理/扩展正确挂载点并核对配额分析参数和任务ID规则
任务被取消或节点故障确认节点恢复、作业状态及是否可续跑原目录内容,先不清理
输出内容异常先核对任务类型和官方错误说明避免同时改多个过滤参数

Cell Ranger的--localcores和--localmem用于本地运行方式;集群jobmode另有资源申请参数,不能把本地选项当成Slurm作业额度。实际可用值必须低于或等于分配给当前作业的资源,并留出系统空间。若没有权限查看或调整额度,请把作业ID和记账记录交给集群管理员处理。

用同一任务验证修复是否有效

开始前保存新旧运行条件的差异、命令和唯一日志文件。重跑时同时记录退出码、失败stage、作业申请、MaxRSS或cgroup峰值、运行耗时和工作盘变化。成功不能只看进程退出为0:还要检查pipestance完成提示、Web Summary、关键输出文件和样本身份。若在原失败stage再次停止,说明所改条件未解决问题,应回到新日志判断,不要立即继续加资源。

set -o pipefail
/usr/bin/time -v -o retry.resources.txt \
  cellranger count --id=sample_id \
  --transcriptome=/path/to/reference \
  --fastqs=/path/to/fastqs --sample=sample \
  --localcores=8 --localmem=48 \
  2>&1 | tee retry.log
echo "pipeline_exit=$?"

示例额度只是命令写法占位,必须替换为真实任务可申请值;如果需要续跑原pipestance,按官方指引沿用原调用方式,不要为了套用示例改变ID或参数。集群模式应从队列记账中取资源数据,time记录作为补充。试跑完成后,把改动因素和结果放在同一张表中,确保可以判断因果。

验证通过后再恢复批量计划

单任务重跑成功后,再选一两个同类样本进行小批次验证,确认并发情况下内存、磁盘和共享路径仍可承受。保留原失败目录到约定期限;确认恢复和输出验收完成后,再依数据管理规则归档或清理。真实项目若包含多个文库或实验条件,仍要使用匹配的Cell Ranger pipeline,不要为了复现失败而改变分析问题。

若内存、输入、磁盘和参数都排除后仍在同一阶段报错,可按10x官方要求准备最小复现信息或debug tarball,并先确认数据共享许可。通过这种“一次只验证一个原因”的重跑方式,既能提高故障定位效率,也能避免盲目扩大服务器配置。