云生信学生物信息学

按需要的分析步骤设计磁盘后端和大内存环境

作者:发布于 2026-11-16更新于 2026-11-15约 7 分钟阅读
按操作决定h5ad运行方式

按操作决定h5ad运行方式:列出真实分析步骤;分块完成简单统计;明确载入内存位置;复读结果核对交付
本文操作与检查路径示意。

h5ad能够以backed方式打开,不代表后续质控、降维、整合都能在同样内存下完成。先列出要做的操作,再决定哪些保留磁盘后端、哪些必须载入内存。资源估算应针对整条实际流程,而不只针对read_h5ad这一行。

把目标写成可验证的操作

例如,只需要X的每个细胞行和,可以按行分块累计;若需要完整分析对象、多个数据层或算法工作区,就要分别评估。还应先确认X代表原始计数、归一化值还是其他变换结果;对变换后的X求和,不能自动解释成原始UMI总数。

目标 可尝试的执行方式 验收重点
X的逐行简单统计 只读分块,逐块输出 行序、行数和数值对照
少量指定细胞的探索 先选定合理子集再载入 选择规则有科学依据
需要整体矩阵的算法 按该函数与版本评估内存 含工作区和副本的实测峰值
保存新注释和结果 写入新文件并重新读取 结果确实持久化且原件可追溯

先运行一个完整的分块任务

以下示例需已有AnnData和NumPy。保存为row_sum.py,执行python row_sum.py input.h5ad x_row_sum.tsv 1000。末尾数字是示例块行数,应结合单块内存测试调整。输出逐块写盘,不把所有结果再次拼成大表,也不修改输入。

import csv, sys
from pathlib import Path
import numpy as np
from anndata.io import read_h5ad

source, target = Path(sys.argv[1]), Path(sys.argv[2])
chunk_rows = int(sys.argv[3])
if chunk_rows <= 0:
    raise SystemExit("chunk_rows must be positive")
if target.exists():
    raise SystemExit("output already exists")
a = read_h5ad(source, backed="r")
try:
    if a.X is None:
        raise SystemExit("X is absent")
    written = 0
    with target.open("x", newline="", encoding="utf-8") as handle:
        writer = csv.writer(handle, delimiter="\t")
        writer.writerow(["row_index", "obs_name", "x_row_sum"])
        for start in range(0, a.n_obs, chunk_rows):
            stop = min(start + chunk_rows, a.n_obs)
            block = a.X[start:stop, :]
            values = np.asarray(block.sum(axis=1)).ravel()
            if values.size != stop - start:
                raise RuntimeError("unexpected result shape")
            writer.writerows(
                (i, str(a.obs_names[i]), float(values[i - start]))
                for i in range(start, stop)
            )
            written += stop - start
    print("written_rows:", written, "expected_rows:", a.n_obs)
finally:
    a.file.close()

成功时written_rows应等于expected_rows。TSV同时保留行索引和obs_name,避免重复细胞名或后续排序导致错配。随机选几行,用相同输入和相同X在小规模内存对象上求和比较;浮点结果按适当容差比较。若中途失败,输出只是部分结果,应先保留日志并改用新文件名重跑,不能把残留文件当完整交付。

载入内存要发生在明确的位置

对于选定子集,a[mask, :].to_memory()会把该对象中尚未驻留内存的数组载入。mask必须来自预先定义的分析规则;随意减少细胞、删除基因或丢弃raw以节省内存,会改变问题本身。子集示例也不能证明全量分析所需资源。

分块代码只完成一个统计步骤。PCA、缩放或整合是否可按磁盘后端执行,应逐个核对当前函数和版本,不能把这段求和代码的低内存表现推广到整套Scanpy流程。增加并行进程还可能产生数据副本;磁盘后端则可能增加读取等待,两者都应实际测量。

交接环境时保留四项记录

记录输入校验值与X含义、软件版本、完整操作顺序、各步骤的峰值内存和输出路径。正式运行还要检查临时空间及最终文件写入空间。修改obs等注释后,不能假定backed自动保存,应按接口写入新h5ad,再重新打开核对注释、行列数和关键数值。这样才能判断缺的是读取策略、算法适配,还是确实需要更大的内存环境。

分块大小应先从保守值试起,记录单块耗时和内存,再调整;块越大并非必然越快。输出磁盘如果与输入共享繁忙存储,也可能成为等待来源。运行结束后核对TSV实际数据行数与打印值,并保存输入校验值,防止把另一个版本文件的统计结果接回原对象。

需要额外算力时

适用前提:可用的分块策略仍不能支持目标操作。如需额外资源,可评估大内存独享CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗