云生信学生物信息学

按空间分辨率和分析目标组织数据与分块处理

作者:发布于 2026-11-17更新于 2026-11-15约 7 分钟阅读
Visium HD先选分析单位

Visium HD先选分析单位:记录切片与bin定义;分块读取非零计数;逐bin写出并核对总数;按barcode连接空间坐标
本文操作与检查路径示意。

Visium HD太大时,先明确当前分析单位。2 µm原生方格、8/16 µm聚合bin与细胞分割结果不是同一种观测,改变粒度也改变空间问题。只为装进内存而随意放大bin,可能抹去组织边界;把每个bin直接叫作一个细胞也不准确。

先建立按分辨率分开的目录清单

Space Ranger默认提供2、8、16 µm矩阵。探针过滤、组织内筛选和分割也可能生成不同结果,先确定使用哪个输出。保留完整原结果,在工作清单写出切片、bin大小、raw/filtered和参考版本;不要把不同粒度的barcode或标签直接拼在一起。

目标 可选起点 需要保留的边界
组织域探索 经验证的8或16 µm bin 需确认目标结构没有被过度聚合
局部精细空间问题 适用的小bin或分割结果 不将稀疏、低计数直接当缺失细胞
先检查矩阵规模与计数 只读HDF5、分块按列汇总 矩阵列是bin,不自动是细胞
后续建模 按函数逐步验证 分块统计不保证所有算法分块运行

分块完成一个真实统计任务

下面针对标准10x CSC格式的整数计数HDF5,每次只读取一批bin对应的非零值,输出每个bin总计数。需要h5py和NumPy。保存为bin_totals.py,输入选定的filtered_feature_bc_matrix.h5;它不读取组织图像,也不进行聚类或细胞质量判定。

import csv, sys
import h5py
import numpy as np

source, target = sys.argv[1:3]
chunk_bins = int(sys.argv[3])
if chunk_bins <= 0:
    raise SystemExit("chunk_bins must be positive")
with h5py.File(source, "r") as f, open(target, "x", newline="", encoding="utf-8") as out:
    m = f["matrix"]
    genes, bins = map(int, m["shape"][:])
    assert m["indptr"].shape[0] == bins + 1
    assert m["barcodes"].shape[0] == bins
    assert m["indices"].shape[0] == m["data"].shape[0]
    assert int(m["indptr"][0]) == 0
    assert int(m["indptr"][-1]) == m["data"].shape[0]
    assert np.issubdtype(m["data"].dtype, np.integer)
    writer = csv.writer(out, delimiter="\t")
    writer.writerow(["bin_index", "barcode", "total_counts"])
    written = 0
    for start in range(0, bins, chunk_bins):
        stop = min(start + chunk_bins, bins)
        ptr = m["indptr"][start:stop + 1].astype(np.int64)
        assert np.all(np.diff(ptr) >= 0)
        values = m["data"][int(ptr[0]):int(ptr[-1])]
        names = m["barcodes"][start:stop]
        for offset, name in enumerate(names):
            left, right = ptr[offset:offset + 2] - ptr[0]
            total = int(values[left:right].sum(dtype=np.int64))
            writer.writerow([start + offset, name.decode("utf-8"), total])
            written += 1
    print("features", genes, "bins", bins, "written", written)
python bin_totals.py \
  outs/binned_outputs/square_008um/filtered_feature_bc_matrix.h5 \
  bin8_totals.tsv 1000

1000是教学块大小,实际内存跟这一批非零数有关,不只跟bin数有关。先从小块试起,再观察峰值调整。程序用新文件模式拒绝覆盖已有结果;中途失败会留下部分TSV,不能当完成,修复后换新输出名重跑。

按坐标与行数验收

printed bins应等于written,TSV数据行数也应相等。选几个固定barcode,与原矩阵小范围读取得到的总和对照,包含一个零计数列。需要接回空间信息时,通过相同分辨率的barcode关联位置,核对一对一关系、组织内标识及坐标方向,不靠文件行号盲拼。

找不到matrix组、shape不匹配或输入不是整数计数,先查是否选错文件或导出格式;这不是自动扩容的理由。原始2 µm矩阵可能包含大量空或低计数位置,过滤必须有记录和分析依据,不能把所有低值一律删除后声称数据质量变好。

把简单分块与后续分析分开

此脚本只完成bin计数汇总,不代表PCA、邻居图或整合支持相同分块方式。Seurat可按bin.size加载选定粒度,但其官方HD示例也不能被理解为默认磁盘后端。完整counts、缩放矩阵、图、空间坐标与图像都应逐项记录,先完成必要步骤的代表性试跑。

若需要在区域内深入分析,先用组织学或预先确定的坐标规则选区,保留选区与全切片的关系。分块只是实现方法,不能让相邻边界自动正确衔接,也不能直接把局部统计推广到整张组织。保存输入校验值、bin定义、脚本和验收结果,后续资源比较才有共同基准。

组织内filtered矩阵与原始raw矩阵的bin范围不同,验收行数时必须使用对应文件,不能把两者列数差异当作分块丢数据。

参考资料

需要额外算力时

适用前提:合理分析粒度下仍有明确资源需求。如需额外资源,可评估大内存独享CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗