
Scrublet占内存增加时,先确定矩阵方向和数据类型。官方入口要求细胞乘基因的原始UMI计数;10x Matrix Market通常是特征乘细胞,需检查后转置。本文处理一个普通Gene Expression捕获,使用filtered细胞集合,不把包含大量空液滴的raw矩阵直接当成同一任务。
准备三个文件和一个实验参数
| 输入 | 检查 | 处理 |
|---|---|---|
| matrix.mtx.gz | 特征乘细胞;非负整数UMI | 稀疏读入并转置 |
| features.tsv.gz | 第三列特征类型 | 只取Gene Expression |
| barcodes.tsv.gz | 与矩阵列一一对应 | 保持原顺序 |
| expected_doublet_rate | 本实验预期比例 | 命令行填写,不照搬默认率 |
以下脚本保存为scrub.py,输入目录采用上述三个压缩文件名,输出目录必须新建。expected_doublet_rate来自建库和细胞负载依据;模拟比例2和主成分30仅作为本次演示协议。若过滤后维度不足以计算指定主成分,应核查数据与方法,不靠捕获异常后写成功文件继续。
import csv,gzip,json,sys
from pathlib import Path
import numpy as np
import scipy.io as sio
import scrublet as scr
import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt
src,out,rate=Path(sys.argv[1]),Path(sys.argv[2]),float(sys.argv[3])
if not 0<rate<1: raise ValueError("rate must be between 0 and 1")
def rows(name):
with gzip.open(src/name,"rt") as f: return list(csv.reader(f,delimiter=" "))
features=rows("features.tsv.gz"); bars=rows("barcodes.tsv.gz")
if not features or any(len(x)<3 for x in features): raise ValueError("feature type missing")
if not bars or any(len(x)!=1 or not x[0] for x in bars): raise ValueError("bad barcode file")
bc=[x[0] for x in bars]
if len(set(bc))!=len(bc): raise ValueError("duplicate barcodes")
with gzip.open(src/"matrix.mtx.gz","rb") as f: m=sio.mmread(f).tocsc()
if m.shape!=(len(features),len(bc)): raise ValueError("dimension mismatch")
keep=np.array([x[2]=="Gene Expression" for x in features])
genes=[x[0] for x,k in zip(features,keep) if k]
if not genes or len(set(genes))!=len(genes): raise ValueError("bad GEX IDs")
x=m[keep,:].T.tocsc()
if not np.isfinite(x.data).all() or (x.data<0).any() or (x.data!=np.floor(x.data)).any():
raise ValueError("raw nonnegative integer UMI counts required")
if (np.asarray(x.sum(axis=1)).ravel()<=0).any(): raise ValueError("zero-count cell")
if out.exists() or out.is_symlink(): raise FileExistsError(out)
out.mkdir(parents=True)
obj=scr.Scrublet(x,sim_doublet_ratio=2.0,expected_doublet_rate=rate,random_state=2026)
scores,pred=obj.scrub_doublets(n_prin_comps=30)
np.savez_compressed(out/"diagnostics.npz",observed=scores,
simulated=obj.doublet_scores_sim_)
fig,axs=plt.subplots(1,2)
for ax,values in zip(axs,[scores,obj.doublet_scores_sim_]): ax.hist(values,bins=50)
fig.savefig(out/"score-histograms.png"); plt.close(fig)
if pred is None: raise RuntimeError("threshold unresolved; inspect diagnostics")
if len(scores)!=len(bc) or not np.isfinite(scores).all(): raise ValueError("invalid scores")
with (out/"predictions.csv").open("w",newline="") as f:
w=csv.writer(f); w.writerow(["barcode","score","predicted_doublet"])
w.writerows(zip(bc,scores,pred))
(out/"settings.json").write_text(json.dumps(dict(rate=rate,sim_ratio=2,
seed=2026,n_prin_comps=30,threshold=float(obj.threshold_))))
按完整过程记录资源
set -euo pipefail
# 0.06只是演示比例,必须替换为本捕获有依据的预期率
/usr/bin/time -v -o scrub.time.txt python scrub.py /data/S01/filtered_feature_bc_matrix scrub-attempt1 0.06 > scrub.log 2>&1
python -m pip freeze > environment.txt
原始稀疏矩阵、模拟双细胞、降维坐标和邻居结构会在不同阶段占内存。输入稀疏不代表后续所有计算都稀疏;格式转换也可能产生拷贝。不要为了观察矩阵而对完整输入调用toarray。记录输入维度、非零元素、日志阶段及进程峰值,避免将磁盘压缩大小直接换算成RAM。
自动阈值失败也是需要处理的结果
官方实现在无法自动找到阈值时可能返回None。脚本先保留两组分数与直方图,再以失败结束,不把缺少阈值写成全体singlet。若重新选择阈值,应依据模拟分布与实验知识记录理由,使用call_doublets进行明确重判,并保留原诊断文件。
验收时核对条形码顺序、分数长度、阈值及群体中的预测比例。双峰不清、群体不均或同型双细胞问题,应先讨论方法适用性。降低模拟比例、邻居数或主成分会改变计算和推断条件,不能只报告省了内存;固定科学协议后仍有峰值缺口,再比较更大RAM及独立捕获并发。
用规模演算解释模拟开销
仅作为数量示例,一万个观测细胞在模拟比例为二时会生成约两万个模拟双细胞;随后邻居分析面对观测和模拟联合规模,而不是只面对原细胞数。这不是内存公式,还需考虑保留基因、降维坐标、邻居实现与临时数组。显卡空闲不代表这些主机RAM对象可以放进显存。
检查日志中异常发生于基因过滤、降维还是邻居步骤。如果是主成分计算报维度不足,应回查过滤后基因数和细胞数;若是主机OOM,保留作业额度与系统证据。只看到进程消失不足以判定具体失败原因,分数文件也可能尚未生成完整。
histograms左图是观测分数、右图是模拟分数,保留原分数便于重新绘图。最终表每行应对应一个输入条形码;先验双细胞率和检出比例含义不同,不能要求二者机械相等。自动阈值成功后仍应审图,记录是否存在合理可解释的阈值分离。
建立输入规模、模拟比例、保留特征、主成分、失败阶段和峰值RAM六列记录,再在相同输入上比较资源;不要把更少模拟细胞的结果直接称为硬件优化。
需要额外算力时
适用前提:输入表示及参数合理,目标任务仍超过现有内存容量。如需额外资源,可评估大内存CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
