
Visium HD太大时,先明确当前分析单位。2 µm原生方格、8/16 µm聚合bin与细胞分割结果不是同一种观测,改变粒度也改变空间问题。只为装进内存而随意放大bin,可能抹去组织边界;把每个bin直接叫作一个细胞也不准确。
先建立按分辨率分开的目录清单
Space Ranger默认提供2、8、16 µm矩阵。探针过滤、组织内筛选和分割也可能生成不同结果,先确定使用哪个输出。保留完整原结果,在工作清单写出切片、bin大小、raw/filtered和参考版本;不要把不同粒度的barcode或标签直接拼在一起。
| 目标 | 可选起点 | 需要保留的边界 |
|---|---|---|
| 组织域探索 | 经验证的8或16 µm bin | 需确认目标结构没有被过度聚合 |
| 局部精细空间问题 | 适用的小bin或分割结果 | 不将稀疏、低计数直接当缺失细胞 |
| 先检查矩阵规模与计数 | 只读HDF5、分块按列汇总 | 矩阵列是bin,不自动是细胞 |
| 后续建模 | 按函数逐步验证 | 分块统计不保证所有算法分块运行 |
分块完成一个真实统计任务
下面针对标准10x CSC格式的整数计数HDF5,每次只读取一批bin对应的非零值,输出每个bin总计数。需要h5py和NumPy。保存为bin_totals.py,输入选定的filtered_feature_bc_matrix.h5;它不读取组织图像,也不进行聚类或细胞质量判定。
import csv, sys
import h5py
import numpy as np
source, target = sys.argv[1:3]
chunk_bins = int(sys.argv[3])
if chunk_bins <= 0:
raise SystemExit("chunk_bins must be positive")
with h5py.File(source, "r") as f, open(target, "x", newline="", encoding="utf-8") as out:
m = f["matrix"]
genes, bins = map(int, m["shape"][:])
assert m["indptr"].shape[0] == bins + 1
assert m["barcodes"].shape[0] == bins
assert m["indices"].shape[0] == m["data"].shape[0]
assert int(m["indptr"][0]) == 0
assert int(m["indptr"][-1]) == m["data"].shape[0]
assert np.issubdtype(m["data"].dtype, np.integer)
writer = csv.writer(out, delimiter="\t")
writer.writerow(["bin_index", "barcode", "total_counts"])
written = 0
for start in range(0, bins, chunk_bins):
stop = min(start + chunk_bins, bins)
ptr = m["indptr"][start:stop + 1].astype(np.int64)
assert np.all(np.diff(ptr) >= 0)
values = m["data"][int(ptr[0]):int(ptr[-1])]
names = m["barcodes"][start:stop]
for offset, name in enumerate(names):
left, right = ptr[offset:offset + 2] - ptr[0]
total = int(values[left:right].sum(dtype=np.int64))
writer.writerow([start + offset, name.decode("utf-8"), total])
written += 1
print("features", genes, "bins", bins, "written", written)
python bin_totals.py \
outs/binned_outputs/square_008um/filtered_feature_bc_matrix.h5 \
bin8_totals.tsv 1000
1000是教学块大小,实际内存跟这一批非零数有关,不只跟bin数有关。先从小块试起,再观察峰值调整。程序用新文件模式拒绝覆盖已有结果;中途失败会留下部分TSV,不能当完成,修复后换新输出名重跑。
按坐标与行数验收
printed bins应等于written,TSV数据行数也应相等。选几个固定barcode,与原矩阵小范围读取得到的总和对照,包含一个零计数列。需要接回空间信息时,通过相同分辨率的barcode关联位置,核对一对一关系、组织内标识及坐标方向,不靠文件行号盲拼。
找不到matrix组、shape不匹配或输入不是整数计数,先查是否选错文件或导出格式;这不是自动扩容的理由。原始2 µm矩阵可能包含大量空或低计数位置,过滤必须有记录和分析依据,不能把所有低值一律删除后声称数据质量变好。
把简单分块与后续分析分开
此脚本只完成bin计数汇总,不代表PCA、邻居图或整合支持相同分块方式。Seurat可按bin.size加载选定粒度,但其官方HD示例也不能被理解为默认磁盘后端。完整counts、缩放矩阵、图、空间坐标与图像都应逐项记录,先完成必要步骤的代表性试跑。
若需要在区域内深入分析,先用组织学或预先确定的坐标规则选区,保留选区与全切片的关系。分块只是实现方法,不能让相邻边界自动正确衔接,也不能直接把局部统计推广到整张组织。保存输入校验值、bin定义、脚本和验收结果,后续资源比较才有共同基准。
组织内filtered矩阵与原始raw矩阵的bin范围不同,验收行数时必须使用对应文件,不能把两者列数差异当作分块丢数据。
参考资料
需要额外算力时
适用前提:合理分析粒度下仍有明确资源需求。如需额外资源,可评估大内存独享CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
