
多样本分析时,单个Cell Ranger任务成功,并不能直接推出同时运行多个任务也安全。每个pipestance内部可能并行多个stage;如果再从终端同时启动多份Cell Ranger,CPU、内存和工作盘都会叠加。先测单任务基线,再用小批次观察总峰值,最后根据成功吞吐量安排并发。
先区分两层并行
Cell Ranger本地运行的--localcores和--localmem用于限制单个pipeline本地可请求的核心和内存;官方文档说明它们只适用于local jobmode。若pipeline由Slurm等集群调度,应按目标版本配置jobmode及对应作业参数,例如集群任务上限和每核内存,而不是只设local参数。另一个层次是同时运行多个独立样本。两种并行叠加时,必须按集群实际额度设置,避免每份任务都认为自己可以使用整台主机。
| 运行方式 | 限制对象 | 要核对 |
|---|---|---|
| 单个local pipeline | 该任务内部可请求的资源 | localcores/localmem与可用额度 |
| 一个pipeline提交集群 | pipeline stage的集群任务 | jobmode、maxjobs、mempercore和站点模板 |
| 多个独立pipeline | 同时运行的样本数 | 所有运行任务的总内存、CPU和并发写盘 |
按同类样本建立单任务基线
先选数据规模、文库和pipeline相近的样本,固定Cell Ranger版本、reference、输出选项及申请资源,完整成功跑完一份。保存实际任务的最大内存、分配核心、耗时、输出大小和各挂载点空间变化。若集群有Slurm,可用sacct查状态、ExitCode、ReqMem、MaxRSS和Elapsed;但记账字段是否可用取决于集群配置,MaxRSS也不一定捕获短时峰值。必要时请管理员查看作业cgroup的memory.peak和内存事件。
sacct -j "$SLURM_JOB_ID" \
--format=JobID,State,ExitCode,Elapsed,ReqMem,MaxRSS
df -h /project/work
df -i /project/work
du -sh /project/work/sample_pilot
用可用余量估算第一批并发
假设分给课题组的可用内存是M,单任务峰值是P,预留给系统、缓存和波动的余量是R,可先用floor((M-R)/P)作为保守并发上限,再向下取整。例:可用128 GiB、单任务峰值34 GiB、预留24 GiB,起始估算为3个任务。这个估算假设任务峰值重叠;实际峰值与不同pipeline stage有关,所以不能把算式当成保证值。若样本类型或规模不同,应分别建立基线。
磁盘也按挂载点分别算:同一文件系统上的FASTQ、参考副本、正在运行的pipestance、结果及旧输出可能同时存在;不同挂载点的空闲空间不能相加。先看一份运行中目录增长,再检查并发小批次期间的总剩余空间和inode。为每个样本使用唯一ID及独立输出目录,失败任务只重跑其ID,不覆盖已完成目录。
小批次验证吞吐量,再逐步扩大
在单样本成功后,同时启动少量同类任务,记录每项任务状态和整机/作业总资源。若内存逼近额度、出现oom事件、磁盘持续接近上限、I/O等待明显或总完成时间比顺序跑更差,就先降低并发或分散到不同时间段。增加并发后若所有样本变慢,并不说明核心还不够;也可能是磁盘争用、共享参考读写或内存回收造成。保留每批的样本规模、请求资源、峰值、成功数和墙钟时间,以完成任务数/小时估算真实吞吐。
最后用通过验收的同类批次确定下一批计划。Cell Ranger版本、文库、细胞规模、是否输出BAM及集群限制变化时重新测量。上述例子仅演示估算方法,不是固定租赁规格;资源结论应来自本项目成功运行的数据。
下载练习材料
先核对包内SHA256清单,再在独立目录复现。
需要额外算力时
适用前提:需要批量任务且总资源超过当前可用容量。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
- Cell Ranger v10.1资源与jobmode参数(10x官方)
- Cell Ranger count的输入与pipeline边界(10x官方)
- Cell Ranger系统要求与数据规模影响(10x官方)
- Slurm sacct记账与资源字段(SchedMD官方)
- Linux cgroup v2 memory.peak与事件(内核文档)
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
