云生信学生物信息学

比较分块与全量计算的资源并确定运行环境

作者:发布于 2026-11-16更新于 2026-11-15约 7 分钟阅读
分块省资源,也要比较模块

分块省资源,也要比较模块:固定基因与网络参数;独立进程测两种设置;按基因组成比模块;正式规模另验容量
本文操作与检查路径示意。

比较WGCNA分块与单块计算时,需要同时记录资源和模块结果。两种设置可能得到不同模块,不能只看哪一个更省内存。先在可控规模上确认比较流程,再结合正式数据的基因数和实际峰值规划环境,避免一上来建立巨大全矩阵。

固定输入与网络设置

准备已经检查过的pilot-expression.rds,行是样本、列是基因,保留相同样本和同一基因集合。这个示例限制最多两千基因,仅用于验通比较流程;挑选子集应有记录,不代表全量网络质量或容量已经验证。

power、相关类型和网络类型应提前根据方法确定。下面显式使用Pearson相关与signed网络示范,POWER须填入经过评估的值,不能把资源试跑当作选择软阈值的方法。随机种子保持一致,分块大小是本轮主要变化。

每个候选启动新的R进程

将下面保存为run_wgcna.R。第二个参数为数字block大小或all,第三个参数为新的结果文件;脚本不保存TOM,避免把写出大矩阵混入本次比较。正式分析如需要TOM,应单独预算并记录保存设置。

library(WGCNA)
args <- commandArgs(trailingOnly = TRUE)
stopifnot(length(args) == 3L, !file.exists(args[3]))
datExpr <- readRDS(args[1])
stopifnot(is.matrix(datExpr), is.numeric(datExpr))
stopifnot(ncol(datExpr) <= 2000L, ncol(datExpr) >= 600L)
stopifnot(!is.null(colnames(datExpr)), !anyDuplicated(colnames(datExpr)))
stopifnot(goodSamplesGenes(datExpr, verbose = 0)$allOK)
power <- as.numeric(Sys.getenv("POWER"))
stopifnot(is.finite(power), power > 0)
block <- if (args[2] == "all") ncol(datExpr) else as.integer(args[2])
stopifnot(is.finite(block), block >= 40L)
disableWGCNAThreads()
elapsed <- system.time({
  fit <- blockwiseModules(datExpr, power = power, maxBlockSize = block,
    corType = "pearson", networkType = "signed", TOMType = "signed",
    randomSeed = 7, numericLabels = TRUE, saveTOMs = FALSE, verbose = 3)
})
stopifnot(length(fit$colors) == ncol(datExpr))
saveRDS(list(fit = fit, genes = colnames(datExpr), timing = elapsed,
  power = power, maxBlockSize = block, version = packageVersion("WGCNA")),
  args[3])
print(elapsed)
print(table(fit$blocks))
print(table(fit$colors))

例如在已经设置POWER的Linux环境顺序执行以下两条命令。两个结果路径必须尚不存在,线程环境保持一致。GNU time包围整个R进程,包含读入和保存;R内部system.time仅记录网络构建段,应分别比较。

OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 MKL_NUM_THREADS=1 \
  /usr/bin/time -v -o block.time.txt Rscript run_wgcna.R \
  pilot-expression.rds 500 block-result.rds > block.log 2>&1
OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 MKL_NUM_THREADS=1 \
  /usr/bin/time -v -o all.time.txt Rscript run_wgcna.R \
  pilot-expression.rds all all-result.rds > all.log 2>&1
验收层面 比较内容 注意事项
运行资源 耗时、峰值、任务额度 小规模结果不能线性外推
实际分块 fit$blocks及各block基因数 核对实际分块而非只看参数
模块结果 基因组成、特征向量及稳定性 模块数字标签不能直接当同一模块
交付材料 版本、基因顺序、参数、日志 能复验本轮同一分析

模块标签要按基因关系比较

先确认两份结果中的genes完全一致,再用标签交叉表检查基因如何对应模块。标签编号或颜色相同不证明模块相同;编号不同也不自动代表结果差。还应结合模块特征向量、目标关联和必要的稳定性检查判断分块是否可接受。

如果差异影响研究结论,应回到分块大小和网络设计讨论,不能为了更快只保留有利结果。单块构建也必须在合理资源内进行;不要取消脚本规模限制后直接对所有基因试探系统上限。

正式规模另做容量验收

固定最终输入和设置后,测量真正需要执行的构建、结果保存及下游步骤。基因方阵按平方增长,复制和TOM保存还会增加开销。多人或多网络同时运行要再测聚合占用,不能把一份小试跑的峰值直接乘一个简单系数当容量承诺。

最后按允许完成时间、内存额度、结果留存和并发计划确定环境。保留失败候选及日志,明确哪些规模已经验证,哪些仍需正式试跑。

两条命令均正常结束并生成可读RDS后,再比较资源数据;任一失败都先按日志定位,不把不完整结果加入模块比较。

需要额外算力时

适用前提:在方法适用且设置合理时仍有资源缺口。如需额外资源,可评估大内存独享CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗