
CellRank的大数据任务可能在AnnData读入、kernel构建、转移矩阵或GPCCA谱分解中的任一步骤占满内存。输入H5AD较小并不代表运行峰值也小。本文以已有邻接图和伪时间的AnnData为例,逐阶段检查对象尺寸,先构建单一ConnectivityKernel,再运行GPCCA;是否结合速度或伪时间kernel,应按数据来源和研究问题另行验证。
先检查AnnData图和元数据
确认细胞名唯一、obs中的伪时间完整、邻接图位于obsp且是稀疏矩阵。记录细胞数、图的shape、nnz(非零边数)、数据类型及H5AD大小。若邻接图意外变成dense,不要继续建立多个kernel;先回查上游读写和转换步骤。全量表达矩阵和图的细胞顺序也必须一致。
| 阶段 | 记录指标 | 异常信号 |
|---|---|---|
| 读取AnnData | 细胞数、层、obsp键和RSS | 稀疏对象被转换为稠密 |
| kernel | 类型、shape、nnz和耗时 | 计算后nnz激增 |
| GPCCA | n_components、RSS和日志 | 使用不适合大稀疏矩阵的方法 |
| 输出 | 对象可读、state数和磁盘用量 | 错误退出却留下半成品 |
先构建一个kernel并核对稀疏性
以CellRank 2 API为例,输入应已包含Scanpy邻居图connectivities及真实伪时间列。先在独立新目录运行,保存transition matrix和版本;不要先把多个kernel复制并混合,以免增加中间对象峰值。
from pathlib import Path
import anndata as ad
import cellrank as cr
from scipy import sparse
adata = ad.read_h5ad("input.h5ad")
assert adata.obs_names.is_unique
assert "connectivities" in adata.obsp
assert "pseudotime" in adata.obs
assert adata.obs["pseudotime"].notna().all()
graph = adata.obsp["connectivities"]
assert sparse.issparse(graph), "邻接图不是稀疏矩阵,先查上游"
print("cells", adata.n_obs, "graph_shape", graph.shape,
"graph_nnz", graph.nnz, "dtype", graph.dtype)
out = Path("cellrank-run1")
out.mkdir(exist_ok=False)
ck = cr.kernels.ConnectivityKernel(adata)
ck.compute_transition_matrix()
T = ck.transition_matrix
assert sparse.issparse(T), "transition matrix became dense"
T = T.tocsr()
print("transition_shape", T.shape, "nnz", T.nnz)
sparse.save_npz(out / "connectivity-transition.npz", T)
adata.write_h5ad(out / "input-copy.h5ad")
CellRank官方说明ConnectivityKernel从对称加权kNN图计算转移矩阵;伪时间kernel和velocity kernel代表不同数据假设,不应仅因可计算就按任意权重混合。若确需混合,记录各kernel来源、权重和敏感性分析,再对混合矩阵重新检查稀疏度与行归一状态。
使用适合稀疏大矩阵的GPCCA路径
确认转移矩阵无异常后,再估计macrostates。对大稀疏矩阵,官方GPCCA文档列出的Krylov方法用于部分排序Schur分解;Brandts路径会对稠密矩阵做完整分解,不适合不加评估直接用于大型输入。下面的20个分量、5个状态只是演示参数,应结合谱间隙和生物学问题确定。
g = cr.estimators.GPCCA(ck)
g.compute_schur(n_components=20, method="krylov")
g.compute_macrostates(n_states=5)
g.write(out / "gpcca.pkl", write_adata=True)
检查日志是否正常结束、估计器文件能否在同一锁定环境读回、宏状态是否有清晰成员及对应细胞群。增加状态数或谱分量会改变计算量与结果;先比较合理的小范围候选值,不要仅以“程序跑完”作为模型验收。
定位峰值,再决定是否扩资源
用/usr/bin/time -v分别包住H5AD读取、kernel构建、Schur分解和宏状态计算;记录最大RSS、墙钟时间、磁盘占用、CellRank/Scanpy/SciPy版本、细胞数、图nnz和参数。一次进程级最大RSS不能告诉你具体哪一段峰值,可在阶段间加时间戳或拆成可复用检查点。失败后不要直接复用半写出的结果,使用同一输入校验值和新输出目录重跑。
若图稀疏但GPCCA阶段内存明显增长,先核对求解方法、分量数和kernel是否重复保留;若输入图已经稠密,先修上游。单细胞抽样可做流程冒烟测试,但抽样重建的图与命运状态不代表全量结果,也不可与全量输出拼接。只有完整代表性数据在正确的稀疏流程下仍持续超过现有额度,再据实测峰值、并发和截止时间评估CPU、内存或工作盘。
下载练习材料
先核对包内SHA256清单,再在独立目录复现。
需要额外算力时
适用前提:核方法及数据表示合理,目标计算仍超过现有容量。如需额外资源,可评估大内存CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
- CellRank ConnectivityKernel官方接口:transition matrix来源
- CellRank PseudotimeKernel官方接口
- CellRank GPCCA官方接口:Schur与宏状态计算
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
