
pySCENIC不是一个只有统一线程数的黑盒任务。网络推断、基序富集剪枝和AUCell打分读取的数据与并行方式不同,整条流程中最耗内存的阶段也可能不同。本文按官方命令行流程建立单worker基线,不推断GPU会自动加速这三个步骤。环境先固定版本,并让对应版本的帮助与输入资源可追溯。
把表达和参考资源组成一个输入包
| 资源 | 应有内容 | 配对检查 |
|---|---|---|
| expression.loom | 基因乘细胞;Gene、CellID属性 | 唯一ID;符合已确认表达处理方案 |
| tfs.txt | 一行一个转录因子标识 | 与表达及物种一致 |
| ranking.feather | cisTarget排名数据库 | 物种、组装、区域定义与格式兼容 |
| motifs.tbl | motif到TF注释 | 与排名库的motif集合及基因体系兼容 |
下面用绝对路径表示已完成校验的输入。loom方向固定为基因乘细胞,普通CSV默认通常是细胞乘基因,不能把两种输入的转置设置混用。表达数据是否取特定细胞、基因以及采用何种处理需先写入方法记录;任意只保留少量高变基因可能损失网络所需TF或靶基因。
三个命令分别运行、分别验收
#!/usr/bin/env bash
set -euo pipefail
EXPR=/data/scenic/expression.loom
TF=/data/scenic/tfs.txt
DB=/data/scenic/ranking.feather
ANN=/data/scenic/motifs.tbl
OUT=scenic-attempt1
for f in "$EXPR" "$TF" "$DB" "$ANN"; do test -s "$f" || exit 2; done
test ! -e "$OUT" || exit 2
test ! -L "$OUT" || exit 2
mkdir "$OUT"
cd "$OUT"
pyscenic -h > cli-help.txt
pyscenic grn -h > grn-help.txt
pyscenic ctx -h > ctx-help.txt
pyscenic aucell -h > aucell-help.txt
python -m pip freeze > environment.txt
sha256sum "$EXPR" "$TF" "$DB" "$ANN" > inputs.sha256
run_stage() {
local stage="$1" expected="$2"
shift 2
/usr/bin/time -v -o "$stage.time.txt" "$@" > "$stage.log" 2>&1
test -s "$expected" || { printf 'missing output: %s\n' "$expected" >&2; return 2; }
}
run_stage grn adj.tsv pyscenic grn "$EXPR" "$TF" --num_workers 1 --seed 2026 -o adj.tsv
run_stage ctx regulons.csv pyscenic ctx adj.tsv "$DB" \
--annotations_fname "$ANN" --expression_mtx_fname "$EXPR" \
--mode custom_multiprocessing --num_workers 1 --output regulons.csv
run_stage aucell auc.csv pyscenic aucell "$EXPR" regulons.csv \
--num_workers 1 --seed 2026 -o auc.csv
printf 'COMPUTE_OK\n' > status.txt
将脚本存为run-scenic.sh后在已验证环境执行。它拒绝覆盖旧目录,某一步退出失败或缺少输出就停止。grn的seed与AUCell排名seed分别记录;固定种子有助复核,但跨软件版本、数值库或并行安排不保证逐字节一致。ctx的阈值和数据库选择需随科学方案保留,不为省内存随意替换。
文件存在之后还要检查什么
GRN表应能读取TF、target和importance,核对名称交集、是否有有效边;regulons.csv采用工具规定的多行表头格式,应使用对应加载方法或AUCell入口验证,不能用简单的单行CSV读取结果判定为空。auc.csv默认是细胞乘regulon,核对细胞ID、维度、有限分数和列名,不将AUC理解为结合概率。
当前官方CLI实现中稀疏读取选项主要服务GRN;ctx和AUCell并不因loom在磁盘上就自动成为全程磁盘计算。若要启用grn的–sparse,先核对本版本支持和相同输入的结果,再单独记录,不能将GRN的内存经验直接套到后两步。
用阶段证据选worker数量
每一步记录时间、峰值RSS、输出及临时文件量,并查看是否因worker内存、数据库I/O或表达矩阵装载卡住。先完成一条完整基线,再只增加某一步worker,与相同方法和输入比较。worker增加可能复制数据或同时装载数据库;单worker峰值乘并发数只能作为估算,还需实测任务组总量。
数据库不匹配、TF交集过少或没有有效regulon,应先处理参考和分析条件。只有合法任务在某阶段持续出现容量或运行窗口缺口,才按该阶段选择RAM或CPU;三步可顺序使用不同资源,不需要为了标题中的“服务器”给整个流程一律配置GPU。
先检查文件交集再计时
正式运行前记录表达基因与TF列表交集、排名库覆盖范围和输入细胞数,解释缺失来源。数据库下载成功或文件后缀正确都不能证明适配;相同物种也可能使用不同基因命名或调控区域定义。资源试验应固定这些参考选择。
需要额外算力时
适用前提:数据库与输入合理,必要阶段经实测仍有主机RAM容量缺口;仅CPU吞吐不足时另按worker与并发评估CPU资源。如需额外资源,可评估大内存CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
