云生信学生物信息学

统计任务峰值并设置CPU内存和并发限制

作者:发布于 2026-11-19更新于 2026-11-15约 6 分钟阅读
单细胞并发先测峰值再排队

单细胞并发先测峰值再排队:测单任务及额外worker;确认队列和cgroup配置;从串行数组基线提交;逐元素验收再扩并发
本文操作与检查路径示意。

多人同时跑单细胞分析,先测每个任务,再把资源请求交给队列。不同整合、降维和差异分析的峰值差异很大,按细胞数平均分RAM往往不可靠。本篇针对已经部署Slurm的Linux服务器,给出同类任务的数组限流;没有Slurm时不能直接照抄sbatch。

先确认限制由谁执行

让维护者确认CPU和RAM约束的实际配置:Slurm资源请求用于调度,硬约束还依赖task/cgroup等配置及ConstrainCores、ConstrainRAMSpace。不能只看到–mem就宣称任何机器都能阻止超额。账号级总并发或组级配额也由集群策略控制,不是每个人自报一个线程数就完成。

测量项 本项目填写 用于什么
分析输入 细胞/特征/非零数____;版本____ 与真实任务建立对应
单任务 墙钟____;作业RAM峰值____;CPU____ 申请资源及时间
额外进程 R worker____;BLAS线程____ 避免两层并行相乘
共享盘 输入/临时/输出____;高水位____ 判断并发是否受I/O限制
执行策略 每数组同时任务____;组总额度____ 区别局部限流与整体配额

先有明确的单样本脚本合同

假定run_one.R已经通过单任务验收,接收输入RDS和全新输出目录两个参数;脚本内部正确加载所需项目环境,失败返回非零。准备tasks.txt,每行一个可信RDS的绝对路径,无空行。以下例子只处理两行,资源数字全部是教学设置,应换成实际测量和获配额度。

#!/usr/bin/env bash
#SBATCH --job-name=sc-pilot
#SBATCH --nodes=1
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=2
#SBATCH --mem=8G
#SBATCH --time=01:00:00
#SBATCH --array=0-1%1
#SBATCH --output=logs/%A_%a.out
set -euo pipefail
cd "$SLURM_SUBMIT_DIR"
export OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 MKL_NUM_THREADS=1
mapfile -t inputs < tasks.txt
test "${#inputs[@]}" -eq 2
i=$SLURM_ARRAY_TASK_ID
test "$i" -ge 0; test "$i" -lt "${#inputs[@]}"
input=${inputs[$i]}
case "$input" in /*) ;; *) echo '输入必须为绝对路径' >&2; exit 2;; esac
test -s "$input"
out="$PWD/results/${SLURM_ARRAY_JOB_ID}_${i}"
test ! -e "$out"
/usr/bin/time -v -o "logs/${SLURM_ARRAY_JOB_ID}_${i}.time.txt" \
  Rscript --vanilla /project/scRNA/run_one.R "$input" "$out"

提交前在同一项目根目录建立logs与results,并保存为sc_batch.sh。sbatch选项不会展开Shell变量,因此不要把$HOME写进SBATCH路径。代码把BLAS线程设为1是本次基线,不会限制future等R worker;run_one.R必须按项目计划另设worker数量,不能无限派生。

set -euo pipefail
mkdir logs results
sbatch sc_batch.sh
# 保存返回的作业号;以下由使用者填入实际号
# squeue -j JOB_ID
# sacct -j JOB_ID --format=JobID,State,ExitCode,Elapsed,AllocCPUS,ReqMem,MaxRSS

验收限额和任务状态

数组%1只让这一个数组最多同时跑一个元素,不限制其他数组或其他成员。扩到%2前先测两个重叠任务的作业组内存、总CPU与盘等待;要控制组内全部任务,维护者应设置统一账号/QOS等额度并实测,不能每个人各提交一个“上限2”。

sbatch成功只表示提交被接收,完成必须看每个元素的State、ExitCode与结果可读性。MaxRSS等统计字段受记账插件和采样影响,需结合平台证据解释;GNU time也不是全部worker聚合峰值。出现OUT_OF_MEMORY先查请求与cgroup记录,TIMEOUT查时限,输入错则修脚本,不统一归为服务器太小。

保留代表性峰值和任务清单后再调整CPU、RAM、时间及并发。低影响的小夹具可验证失败状态是否传出;正式科学参数保持不变,不能靠删除细胞或换一套方法来制造容量通过。

单细胞任务大小差异明显时,按输入规模或步骤分成不同资源类别,分别测量后提交;一个固定8G数组不适合所有整合任务。单个元素需要更多内存时,先保留失败证据并改成对应资源请求,不把整个数组都无限调大。

如果R脚本自己启动multisession等worker,矩阵或大对象可能在多个进程中各占空间。测量应覆盖读入、标准化、整合、图与保存,不能只看最后的小型低维结果。输出盘写满也可能导致保存失败,队列状态和结果验收都要保留,不能只有一个任务结束时间。

参考资料

需要额外算力时

适用前提:多人任务重叠且需要可预期资源。如需额外资源,可评估课题组多用户计算环境。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

先确定合适的计算资源

根据数据规模和分析任务,快速测算 CPU、内存、存储与 GPU 配置。

测算服务器配置仍有疑问,联系客服 ↗