
比较Visium HD粒度的资源,先固定同一捕获区、同一参考和同一分析步骤。2、8、16 µm矩阵的列数与非零数不同,但内存并不总按几何面积比例缩放;组织筛选、表达分布、图像和算法临时对象都会影响峰值。改变bin也改变观测单位,不能把资源更少等同科学结果更好。
只读头信息,建立规模清单
以下Python需要h5py,读取标准10x矩阵头与数据集形状,不装载完整data数组。保存为inventory_bins.py,以Space Ranger的outs目录为参数执行。缺失某粒度时会记录absent,先查实际输出与版本,不能把不存在的文件当零占用。
import csv, sys
from pathlib import Path
import h5py
root = Path(sys.argv[1]) / "binned_outputs"
with open("bin-inventory.tsv", "x", newline="", encoding="utf-8") as out:
writer = csv.writer(out, delimiter="\t")
writer.writerow(["bin_um", "features", "bins", "nnz", "file_bytes", "dense_float64_GiB"])
for size in (2, 8, 16):
path = root / f"square_{size:03d}um" / "filtered_feature_bc_matrix.h5"
if not path.exists():
writer.writerow([size, "absent", "", "", "", ""])
continue
with h5py.File(path, "r") as f:
m = f["matrix"]
features, bins = map(int, m["shape"][:])
nnz = int(m["data"].shape[0])
writer.writerow([size, features, bins, nnz, path.stat().st_size,
features * bins * 8 / 1024**3])
dense_float64_GiB只演算双精度稠密矩阵的元素载荷,不是建议内存,也不是当前稀疏对象大小。它用于识别误调用as.matrix或导出全量CSV的危险。文件字节数包含压缩效果,也不能直接换算内存。原数据、索引与临时对象还需要另记。
在新R进程测相同预处理
下面只比较加载、归一化和高变特征选择,不包含PCA、sketch、图构建或整合。要求兼容Seurat(HD支持从5.1起)、hdf5r及arrow,输入为同一outs。保存为prepare_bin.R,bin参数只允许8或16,避免把未经验证的细胞分割输出混入同一比较。
library(Seurat)
args <- commandArgs(trailingOnly=TRUE)
stopifnot(length(args)==2)
bin <- as.integer(args[2])
stopifnot(bin %in% c(8L,16L))
file <- paste0("bin", bin, "-check.rds")
stopifnot(!file.exists(file))
obj <- Load10X_Spatial(data.dir=args[1], bin.size=bin)
assay <- paste0("Spatial.", sprintf("%03d",bin), "um")
stopifnot(assay %in% Assays(obj))
DefaultAssay(obj) <- assay
obj <- NormalizeData(obj)
obj <- FindVariableFeatures(obj)
saveRDS(list(assay=assay, dimensions=dim(obj[[assay]]),
variable_features=VariableFeatures(obj),
approximate_object_bytes=as.numeric(object.size(obj)),
version=sessionInfo()), file)
# 在全新的基准目录执行;替换为同一切片的真实outs路径
for bin in 8 16; do
/usr/bin/time -v -o "bin${bin}.resources.txt" \
Rscript --vanilla prepare_bin.R /absolute/sample/outs "$bin" \
> "bin${bin}.stdout.txt" 2> "bin${bin}.stderr.txt"
status=$?
printf '%s\n' "$status" > "bin${bin}.exit.txt"
test "$status" -eq 0 || exit "$status"
done
| 记录项 | 8 µm | 16 µm |
|---|---|---|
| 成功退出且维度符合原文件 | ____ | ____ |
| 加载至高变特征完成时间 | ____ | ____ |
| 峰值口径与数值 | ____ | ____ |
| 工作盘和输出大小 | ____ | ____ |
| 关键组织域是否仍可区分 | ____ | ____ |
把科学验收与性能记录一起比较
先对照清单里的特征数、bin数和真实输出,确认两次读取的文件与assay正确。高变特征不必相同,粒度变更本来就会改变信号;需要组织域或稀有群体时,应额外核对标记与空间分布,不能只按内存最小选16 µm。
object.size只是近似对象占用,GNU time也不自动聚合全部同时进程。分开记录图像载入、矩阵与算法峰值,保留运行顺序和缓存条件。需要完整聚类流程时,以同样方式继续测后续步骤;本篇预处理成功不代表全流程资源足够。
比较后形成两份结果:每粒度能回答什么问题,以及在指定流程范围内需要多少资源。重要结构被聚合抹去时,应回到适当粒度,再评估局部分析、磁盘后端或更大内存。多切片并发还应验证重叠峰值与工作盘,不按本次单张最小值直接下结论。
例如,纯演算中的二万特征乘三十万bin,若生成双精度稠密矩阵,元素载荷约44.7 GiB;同样三十万bin的三十维表示仅约0.067 GiB。它们不含原对象、邻居图和临时副本。这个差别说明资源风险取决于具体输出,不能只看bin数量。
非零数也应与数据类型一起解释:稀疏矩阵不仅保存数值,还保存行索引和列指针。组织聚合后每个bin可能出现更多非零特征,所以bin减少倍数不等于非零数减少倍数。若读取成功而缩放才耗尽内存,应定位缩放特征范围与输出形式,不能把问题笼统写成H5太大。
工作盘表还要列出原始结果、选定粒度对象、上一检查点及本次新文件是否同时存在。不同粒度是独立分析方案,分别命名输出并保留来源,避免用较小对象覆盖原结果后再也无法复查。
参考资料
需要额外算力时
适用前提:合理分析粒度下仍有明确资源需求。如需额外资源,可评估大内存独享CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
