多样本分析时,单个Cell Ranger任务成功,并不能直接推出同时运行多个任务也安全。每个pipestance内部可能并行多个stage;如果再从终端同时启动多份Cell Ranger,CPU、内存和工作盘都会叠加。先测单任务基线,再用小批次观察总峰值,最后根据成功吞吐量安排并发。
Cell Ranger本地运行的--localcores和--localmem用于限制单个pipeline本地可请求的核心和内存;官方文档说明它们只适用于local jobmode。若pipeline由Slurm等集群调度,应按目标版本配置jobmode及对应作业参数,例如集群任务上限和每核内存,而不是只设local参数。另一个层次是同时运行多个独立样本。两种并行叠加时,必须按集群实际额度设置,避免每份任务都认为自己可以使用整台主机。
| 运行方式 | 限制对象 | 要核对 |
|---|---|---|
| 单个local pipeline | 该任务内部可请求的资源 | localcores/localmem与可用额度 |
| 一个pipeline提交集群 | pipeline stage的集群任务 | jobmode、maxjobs、mempercore和站点模板 |
| 多个独立pipeline | 同时运行的样本数 | 所有运行任务的总内存、CPU和并发写盘 |
先选数据规模、文库和pipeline相近的样本,固定Cell Ranger版本、reference、输出选项及申请资源,完整成功跑完一份。保存实际任务的最大内存、分配核心、耗时、输出大小和各挂载点空间变化。若集群有Slurm,可用sacct查状态、ExitCode、ReqMem、MaxRSS和Elapsed;但记账字段是否可用取决于集群配置,MaxRSS也不一定捕获短时峰值。必要时请管理员查看作业cgroup的memory.peak和内存事件。
sacct -j "$SLURM_JOB_ID" \
--format=JobID,State,ExitCode,Elapsed,ReqMem,MaxRSS
df -h /project/work
df -i /project/work
du -sh /project/work/sample_pilot
假设分给课题组的可用内存是M,单任务峰值是P,预留给系统、缓存和波动的余量是R,可先用floor((M-R)/P)作为保守并发上限,再向下取整。例:可用128 GiB、单任务峰值34 GiB、预留24 GiB,起始估算为3个任务。这个估算假设任务峰值重叠;实际峰值与不同pipeline stage有关,所以不能把算式当成保证值。若样本类型或规模不同,应分别建立基线。
磁盘也按挂载点分别算:同一文件系统上的FASTQ、参考副本、正在运行的pipestance、结果及旧输出可能同时存在;不同挂载点的空闲空间不能相加。先看一份运行中目录增长,再检查并发小批次期间的总剩余空间和inode。为每个样本使用唯一ID及独立输出目录,失败任务只重跑其ID,不覆盖已完成目录。
在单样本成功后,同时启动少量同类任务,记录每项任务状态和整机/作业总资源。若内存逼近额度、出现oom事件、磁盘持续接近上限、I/O等待明显或总完成时间比顺序跑更差,就先降低并发或分散到不同时间段。增加并发后若所有样本变慢,并不说明核心还不够;也可能是磁盘争用、共享参考读写或内存回收造成。保留每批的样本规模、请求资源、峰值、成功数和墙钟时间,以完成任务数/小时估算真实吞吐。
最后用通过验收的同类批次确定下一批计划。Cell Ranger版本、文库、细胞规模、是否输出BAM及集群限制变化时重新测量。上述例子仅演示估算方法,不是固定租赁规格;资源结论应来自本项目成功运行的数据。