单细胞分析

想用单细胞表达信息预测患者分组,训练集和测试集该怎么拆?

作者:发布于 2026-11-17约 8 分钟阅读
预测患者分组,为什么能拿满分?,先打印训练和测试两侧的患者名。24 名模拟患者、960 颗细胞、90 个基因;患者层 AUC 为 1,每折双方共享 24 人;每折患者交集为零,本次 AUC 约 0.299

一个二分类模型,从单细胞表达预测患者属于哪一组,交叉验证的 AUC 达到一。这样的图值得先按下暂停键,打印一张几乎没人放进结果页的表:每一折的训练患者与测试患者,交集里有谁?我们做了一份二十四名模拟患者的计数表,每人四十颗细胞。用同一套模型按细胞随机拆分时,人层面确实拿到满分;把同一患者的全部细胞放在同一侧,分数跌到约零点三。数据和代码都能下载,差别出现在哪一步可以从折名单一项项查。

预测患者分组,为什么能拿满分?,先打印训练和测试两侧的患者名。24 名模拟患者、960 颗细胞、90 个基因;患者层 AUC 为 1,每折双方共享 24 人;每折患者交集为零,本次 AUC 约 0.299

下载完整代码、示例数据与参考输出(ZIP) · 下载图文操作手册(PDF)

先把应用场景写成一句话

我们要预测的是一位以前从未见过的患者。手头可能有这名患者的许多细胞,但当模型训练时,它不应见过他的任何细胞、任一时间点或另一块组织。若研究问题真的只是给已知患者的新条码做分类,例如在已配对的实验里检查返回的细胞身份,那是另一种预测任务,可以设计相应评价。本文按“新来一位患者”定义测试单位,先冻结患者编号,再把它的全部细胞视为同一组。谁作为独立单位,决定训练测试应该在哪里划边界,也决定最后报告的样本量该写人还是细胞。

模拟数据有九十个基因、九百六十颗细胞,两组患者人数相等。为了让练习具有可解释性,我们给每位患者设置较稳定的个体表达特征,只有前几个基因带较弱的共同分组变化。真实实验里的个体特征可能来自遗传差异、采样方式、处理批次、组织成分和其他因素。模型很容易利用这些特征识别一个见过的人,再间接“猜中”他的病人标签。这种捷径即使真的发生,也并不说明算法能从未见过的新患者中识别病理变化。训练表中患者身份虽然没有作为模型输入,表达仍可携带其可识别特征。

看两种拆法实际把哪些人分到了两侧

两种方案都采用四折、固定相同种子并照顾标签平衡。第一种把全部细胞交给分层拆分;同一患者的四十颗细胞会分散到两侧。第二种先取一人一行的患者表,按患者标签分四折,然后把每个患者的所有细胞映射到自己的训练或测试折。于是第二种每折有十八名训练患者与六名测试患者,名单没有交集。每名患者只会以测试身份出现一次。真实项目若同一人多次来访、不同组织块或多个技术批次,需先将标识统一为同一人,不能把一次访视当成新患者绕过拆分。scikit-learn 的分组交叉验证说明

def folds(cells,mode):
    cv=StratifiedKFold(n_splits=4,shuffle=True,random_state=95)
    if mode=="random_cells":
        yield from cv.split(cells,cells.case)
    else:
        patients=cells[["patient","case"]].drop_duplicates()
        for train,test in cv.split(patients,patients.case):
            yield np.flatnonzero(cells.patient.isin(patients.iloc[train].patient)),np.flatnonzero(cells.patient.isin(patients.iloc[test].patient))

可以直接打开拆分审计表,不需要相信一个“已按患者拆分”的文件名。我们为每一折写下训练人数、测试人数、交集人数和具体名单。随机按细胞拆时,每一折训练和测试都包含全部二十四人。再看患者层面的折外分数,它虽然只来自该细胞本身没有参与训练的模型,但同一个人的其他细胞早已参与训练。因此即便最后才按患者求平均,也无法修复上游拆分已经引入的泄漏。按患者拆时,全部测试细胞来自另外六个人,这才符合一开始写下的新患者场景。

选基因和标准化也要待在训练折内

脚本在每个训练折内部根据分类任务选择三十五个基因,然后拟合标准化参数、训练近邻分类器,在留出集上只执行转换和预测。若先把所有患者的标签用于寻找差异基因,再对筛完的矩阵做严格按人的交叉验证,测试患者的标签仍会参与决定输入,评价仍然泄漏。即使不直接使用标签,跨全队列选择特征与估计缩放分布也可能把测试分布带回训练。按每个细胞自己的总量做无监督归一和需要学习全体参数的预处理,应把二者区别写清。预处理中的数据泄漏说明

from sklearn.pipeline import make_pipeline
from sklearn.feature_selection import SelectKBest, f_classif
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
model = make_pipeline(SelectKBest(f_classif, k=35), StandardScaler(),
                      KNeighborsClassifier(n_neighbors=11, weights="distance"))
拆分方案 每折训练与测试患者交集 患者层 AUC 患者层均衡准确率
随机按细胞 24 人 1.000 1.000
整位患者留出 0 人 0.299 0.333

每颗测试细胞先得到一个折外概率,再对同一位患者的概率等权平均,最后只用二十四个患者得分计算 AUC 和均衡准确率。这里正好每人都有四十颗细胞,目的是让两套评价容易比较。实际病例细胞量可能相差几个数量级,还应记录每位患者哪些类型被捕获,是否主要由某一数量极大的细胞群支配概率。如果计划按细胞类型先汇总、再汇总到人,或者为病例设最小细胞数,也需要当作预先规定的预测规则,不能看到测试结果后才从几种聚合方法中挑最好的一种。

分数跌破一半,能得出什么结论

本次固定模拟按患者拆的 AUC 约零点三,说明这一次二十四人的测试排序很差。它不能证明所有真实研究没有可转移信号,也不能因为小于零点五就把方向翻过来当成绩效。若想检查是否本来把阳性标签编码反了,必须核对分组定义、概率所属类别和预先约定的评价方向。若编码无误,可重复不同患者拆分或生成更多独立模拟患者,观察估计的不确定性。反复试种子只保留最高分,会重新把测试设计变成调参工具。代码按折保存了选中的基因,方便检查模型是否反复依靠某位患者特有的特征。

python -m pip install -r requirements.txt
python run.py --input example --out results

一个与自身项目相关的对照,是把生成脚本中的共享分组信号增强,同时保持每位患者的细胞数和个体差异不变,再重新拆分。若按患者评估变好,说明模型有机会利用共享信号;若继续大量增加每人的细胞、却不增加患者,按细胞拆仍可能特别漂亮,独立患者的估计精度却未必改善。两种改变各检验一个问题。报告中可把患者数、每人细胞分布、患者拆分方法及类比例写在主结果旁,让合作者看懂一个百分点背后有多少独立观察。

报告测试结果时,可以另附一个朴素基线。它只根据训练患者的阳性比例给所有测试患者同一个概率,或仅使用预先允许的临床变量。基线和表达模型必须用一模一样的患者划分,才容易解释复杂模型是否真的增加了信息。尤其在阳性很少时,准确率可能主要由多数类支撑,应该同时保留两组各自的识别率与完整患者名单。若后续要建立置信区间,重抽样也应以整位患者为单位。

准备实际应用时,还要决定不同医院或测序批次是否会整批进入新场景。如果最终要预测来自另一中心的患者,仅保证同一人不跨折还不够;可另留一个中心检查分布变化,仍以人计分,说明中心与疾病分组是否混杂。若患者数不足以同时调整模型和验证,可明确记作探索,保留将来外部测量的接口。等到需要对多个细胞谱系和模型设定做严格的嵌套患者验证时,再根据实际患者数、表达矩阵及反复训练次数选择云生信科研服务器租赁。

把知识用于当前任务

把方法直接跑起来

使用单细胞在线分析入口,减少环境配置和重复操作。

打开单细胞工具仍有疑问,联系客服 ↗