
多人同时跑单细胞分析,先测每个任务,再把资源请求交给队列。不同整合、降维和差异分析的峰值差异很大,按细胞数平均分RAM往往不可靠。本篇针对已经部署Slurm的Linux服务器,给出同类任务的数组限流;没有Slurm时不能直接照抄sbatch。
先确认限制由谁执行
让维护者确认CPU和RAM约束的实际配置:Slurm资源请求用于调度,硬约束还依赖task/cgroup等配置及ConstrainCores、ConstrainRAMSpace。不能只看到–mem就宣称任何机器都能阻止超额。账号级总并发或组级配额也由集群策略控制,不是每个人自报一个线程数就完成。
| 测量项 | 本项目填写 | 用于什么 |
|---|---|---|
| 分析输入 | 细胞/特征/非零数____;版本____ | 与真实任务建立对应 |
| 单任务 | 墙钟____;作业RAM峰值____;CPU____ | 申请资源及时间 |
| 额外进程 | R worker____;BLAS线程____ | 避免两层并行相乘 |
| 共享盘 | 输入/临时/输出____;高水位____ | 判断并发是否受I/O限制 |
| 执行策略 | 每数组同时任务____;组总额度____ | 区别局部限流与整体配额 |
先有明确的单样本脚本合同
假定run_one.R已经通过单任务验收,接收输入RDS和全新输出目录两个参数;脚本内部正确加载所需项目环境,失败返回非零。准备tasks.txt,每行一个可信RDS的绝对路径,无空行。以下例子只处理两行,资源数字全部是教学设置,应换成实际测量和获配额度。
#!/usr/bin/env bash
#SBATCH --job-name=sc-pilot
#SBATCH --nodes=1
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=2
#SBATCH --mem=8G
#SBATCH --time=01:00:00
#SBATCH --array=0-1%1
#SBATCH --output=logs/%A_%a.out
set -euo pipefail
cd "$SLURM_SUBMIT_DIR"
export OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 MKL_NUM_THREADS=1
mapfile -t inputs < tasks.txt
test "${#inputs[@]}" -eq 2
i=$SLURM_ARRAY_TASK_ID
test "$i" -ge 0; test "$i" -lt "${#inputs[@]}"
input=${inputs[$i]}
case "$input" in /*) ;; *) echo '输入必须为绝对路径' >&2; exit 2;; esac
test -s "$input"
out="$PWD/results/${SLURM_ARRAY_JOB_ID}_${i}"
test ! -e "$out"
/usr/bin/time -v -o "logs/${SLURM_ARRAY_JOB_ID}_${i}.time.txt" \
Rscript --vanilla /project/scRNA/run_one.R "$input" "$out"
提交前在同一项目根目录建立logs与results,并保存为sc_batch.sh。sbatch选项不会展开Shell变量,因此不要把$HOME写进SBATCH路径。代码把BLAS线程设为1是本次基线,不会限制future等R worker;run_one.R必须按项目计划另设worker数量,不能无限派生。
set -euo pipefail
mkdir logs results
sbatch sc_batch.sh
# 保存返回的作业号;以下由使用者填入实际号
# squeue -j JOB_ID
# sacct -j JOB_ID --format=JobID,State,ExitCode,Elapsed,AllocCPUS,ReqMem,MaxRSS
验收限额和任务状态
数组%1只让这一个数组最多同时跑一个元素,不限制其他数组或其他成员。扩到%2前先测两个重叠任务的作业组内存、总CPU与盘等待;要控制组内全部任务,维护者应设置统一账号/QOS等额度并实测,不能每个人各提交一个“上限2”。
sbatch成功只表示提交被接收,完成必须看每个元素的State、ExitCode与结果可读性。MaxRSS等统计字段受记账插件和采样影响,需结合平台证据解释;GNU time也不是全部worker聚合峰值。出现OUT_OF_MEMORY先查请求与cgroup记录,TIMEOUT查时限,输入错则修脚本,不统一归为服务器太小。
保留代表性峰值和任务清单后再调整CPU、RAM、时间及并发。低影响的小夹具可验证失败状态是否传出;正式科学参数保持不变,不能靠删除细胞或换一套方法来制造容量通过。
单细胞任务大小差异明显时,按输入规模或步骤分成不同资源类别,分别测量后提交;一个固定8G数组不适合所有整合任务。单个元素需要更多内存时,先保留失败证据并改成对应资源请求,不把整个数组都无限调大。
如果R脚本自己启动multisession等worker,矩阵或大对象可能在多个进程中各占空间。测量应覆盖读入、标准化、整合、图与保存,不能只看最后的小型低维结果。输出盘写满也可能导致保存失败,队列状态和结果验收都要保留,不能只有一个任务结束时间。
参考资料
需要额外算力时
适用前提:多人任务重叠且需要可预期资源。如需额外资源,可评估课题组多用户计算环境。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
