
比较WGCNA分块与单块计算时,需要同时记录资源和模块结果。两种设置可能得到不同模块,不能只看哪一个更省内存。先在可控规模上确认比较流程,再结合正式数据的基因数和实际峰值规划环境,避免一上来建立巨大全矩阵。
固定输入与网络设置
准备已经检查过的pilot-expression.rds,行是样本、列是基因,保留相同样本和同一基因集合。这个示例限制最多两千基因,仅用于验通比较流程;挑选子集应有记录,不代表全量网络质量或容量已经验证。
power、相关类型和网络类型应提前根据方法确定。下面显式使用Pearson相关与signed网络示范,POWER须填入经过评估的值,不能把资源试跑当作选择软阈值的方法。随机种子保持一致,分块大小是本轮主要变化。
每个候选启动新的R进程
将下面保存为run_wgcna.R。第二个参数为数字block大小或all,第三个参数为新的结果文件;脚本不保存TOM,避免把写出大矩阵混入本次比较。正式分析如需要TOM,应单独预算并记录保存设置。
library(WGCNA)
args <- commandArgs(trailingOnly = TRUE)
stopifnot(length(args) == 3L, !file.exists(args[3]))
datExpr <- readRDS(args[1])
stopifnot(is.matrix(datExpr), is.numeric(datExpr))
stopifnot(ncol(datExpr) <= 2000L, ncol(datExpr) >= 600L)
stopifnot(!is.null(colnames(datExpr)), !anyDuplicated(colnames(datExpr)))
stopifnot(goodSamplesGenes(datExpr, verbose = 0)$allOK)
power <- as.numeric(Sys.getenv("POWER"))
stopifnot(is.finite(power), power > 0)
block <- if (args[2] == "all") ncol(datExpr) else as.integer(args[2])
stopifnot(is.finite(block), block >= 40L)
disableWGCNAThreads()
elapsed <- system.time({
fit <- blockwiseModules(datExpr, power = power, maxBlockSize = block,
corType = "pearson", networkType = "signed", TOMType = "signed",
randomSeed = 7, numericLabels = TRUE, saveTOMs = FALSE, verbose = 3)
})
stopifnot(length(fit$colors) == ncol(datExpr))
saveRDS(list(fit = fit, genes = colnames(datExpr), timing = elapsed,
power = power, maxBlockSize = block, version = packageVersion("WGCNA")),
args[3])
print(elapsed)
print(table(fit$blocks))
print(table(fit$colors))
例如在已经设置POWER的Linux环境顺序执行以下两条命令。两个结果路径必须尚不存在,线程环境保持一致。GNU time包围整个R进程,包含读入和保存;R内部system.time仅记录网络构建段,应分别比较。
OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 MKL_NUM_THREADS=1 \
/usr/bin/time -v -o block.time.txt Rscript run_wgcna.R \
pilot-expression.rds 500 block-result.rds > block.log 2>&1
OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 MKL_NUM_THREADS=1 \
/usr/bin/time -v -o all.time.txt Rscript run_wgcna.R \
pilot-expression.rds all all-result.rds > all.log 2>&1
| 验收层面 | 比较内容 | 注意事项 |
|---|---|---|
| 运行资源 | 耗时、峰值、任务额度 | 小规模结果不能线性外推 |
| 实际分块 | fit$blocks及各block基因数 | 核对实际分块而非只看参数 |
| 模块结果 | 基因组成、特征向量及稳定性 | 模块数字标签不能直接当同一模块 |
| 交付材料 | 版本、基因顺序、参数、日志 | 能复验本轮同一分析 |
模块标签要按基因关系比较
先确认两份结果中的genes完全一致,再用标签交叉表检查基因如何对应模块。标签编号或颜色相同不证明模块相同;编号不同也不自动代表结果差。还应结合模块特征向量、目标关联和必要的稳定性检查判断分块是否可接受。
如果差异影响研究结论,应回到分块大小和网络设计讨论,不能为了更快只保留有利结果。单块构建也必须在合理资源内进行;不要取消脚本规模限制后直接对所有基因试探系统上限。
正式规模另做容量验收
固定最终输入和设置后,测量真正需要执行的构建、结果保存及下游步骤。基因方阵按平方增长,复制和TOM保存还会增加开销。多人或多网络同时运行要再测聚合占用,不能把一份小试跑的峰值直接乘一个简单系数当容量承诺。
最后按允许完成时间、内存额度、结果留存和并发计划确定环境。保留失败候选及日志,明确哪些规模已经验证,哪些仍需正式试跑。
两条命令均正常结束并生成可读RDS后,再比较资源数据;任一失败都先按日志定位,不把不完整结果加入模块比较。
需要额外算力时
适用前提:在方法适用且设置合理时仍有资源缺口。如需额外资源,可评估大内存独享CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
