生信论文返修实战20讲 · 第14讲 · 审查模型与功能证据

系列目录:生信论文返修实战20讲(当前第14讲)
- 第01讲:收到返修意见后怎么办?把审稿问题拆成可执行任务
- 第02讲:返修前先冻结分析:输入、版本与结果怎样重放
- 第03讲:样本量为什么对不上?核查纳入、排除与重复测量
- 第04讲:样本太少怎样回应?报告效应、区间与真实限制
- 第05讲:差异分析被质疑:模型、方向和多重检验逐项核查
- 第06讲:要求校正年龄和批次?先判断资料是否支持
- 第07讲:换个阈值还成立吗?做有边界的敏感性分析
- 第08讲:独立验证不一致怎么办?保留全部候选与证据
- 第09讲:富集结果怎样返修?检查背景、方向和贡献成员
- 第10讲:单细胞显著性可靠吗?先认清细胞、文库与供体
- 第11讲:细胞注释与比例被质疑:标记依据和分母怎样交代
- 第12讲:拟时序和通讯怎样改写?避免把推断写成机制
- 第13讲:模型性能过高先查什么?用随机标签识别数据泄漏
- 第14讲:只有ROC不够:校准、误差与简单基线一起评价(本篇)
- 第15讲:生存分析怎样返修?事件、截点与模型假设核查
- 第16讲:审稿人要求补实验:公共数据能支持到哪一层
- 第17讲:图形与图注怎样修改?展示样本、效应与不确定性
- 第18讲:方法写到哪里才够?参数、版本与数据代码可用性
- 第19讲:逐条回复怎么写?把动作、证据和修改位置对应起来
- 第20讲:提交返修前最后一查:正文、回复与附件保持一致
点击目录按篇次顺序学习;文末复现包包含全系列代码与起始数据。
审稿人说只有ROC不够,应该补哪些评价
一条ROC曲线能说明模型区分两类结局的能力,却不能直接说明预测概率是否可信,也不能说明模型在实际决策中有用。返修时继续增加几条不同颜色的ROC,往往没有回应问题。本篇用公开临床教学数据,比较简单基线、单变量模型和三变量模型,同时查看区分、误差与校准。
教学审稿意见:请补充校准与基线比较,避免仅凭AUC宣称模型具有应用价值。
数据来自MASS包中的Pima.tr和Pima.te,分别为二百个训练记录与三百三十二个留出记录。它们来自同一公开资料的既定随机拆分,因此本篇称为固定留出评价,不称为独立中心外部验证。数据的历史来源和筛选范围由官方文档说明,教学结果不能直接推广到其他人群。
三种预测先固定,再统一评价
第一种预测对所有测试记录给出训练集患病比例,作为简单基线;第二种只使用血糖;第三种使用血糖、体质指数和年龄。两个模型都在训练集拟合逻辑回归,再对同一留出集产生预测。没有根据测试表现重新挑选变量、调节阈值或重新拟合校准器。
简单基线看起来不够复杂,却非常有用。一个模型只有在合理指标上优于容易获得的基线,新增复杂度才有讨论价值。基线也应在训练数据中确定,不能偷偷使用测试结局比例来优化预测。测试集实际阳性比例可以用于解释评价难度,但不能倒流进训练步骤。
本次输出中,单血糖模型的AUC约零点七九七,三变量模型约零点八四六;Brier分数分别约零点一六零和零点一四七。这里只描述这次固定留出集的点估计,没有检验二者差异是否具有统计学意义,也没有提供临床效用结论。数字变好与改善已经被可靠证明是两件事。
| 指标 | 主要回答的问题 | 需要避免的误读 |
|---|---|---|
| AUC | 阳性与阴性排序区分如何 | 概率已经校准良好 |
| Brier分数 | 概率预测的平方误差如何 | 单独决定所有应用价值 |
| 平均精确率 | 关注阳性识别时排序表现如何 | 不同患病率下可直接比较 |
| 固定阈值准确率 | 该阈值下分类有多常正确 | 阈值适合实际决策 |
| 校准图 | 预测风险与观察比例是否相符 | 少量分箱点证明完美校准 |

为什么高AUC也可能概率不准
如果把所有预测概率作保持排序的变换,AUC可能保持不变,但概率数值可以明显偏高或偏低。例如模型能正确排序谁风险更高,却把实际较低的风险普遍预测得过高。对于需要沟通风险或基于概率采取行动的场景,这种偏差非常重要。
本篇用固定区间分箱,比较各箱平均预测概率与观察阳性比例。分箱图容易理解,但受样本量和分箱选择影响,不能仅凭点接近对角线就宣布校准完美。某些箱样本少时尤其不稳定。正式评价可以补充合适的区间、校准截距与斜率等,但应说明方法和验证范围。
校准评价与重新校准也不同。若在测试集上拟合校准模型,再用同一测试集报告校准后性能,就增加了学习步骤。本篇没有这样做,图只是评价冻结模型的预测。如果真实研究需要校准,应在开发流程中安排,或使用独立资料评估更新后的模型。

正确处理阈值和类别比例
本篇报告零点五阈值下的准确率,只作为教学指标,不把它当作临床最佳阈值。最佳阈值取决于漏诊与误报代价、应用人群和资源条件,不能仅在测试集挑出准确率最高的点,再宣称性能已经独立验证。
平均精确率受到阳性比例影响,比较不同资料时必须交代基线。代码按相同预测分值分组处理并列情况,避免常数基线因输入排序而得到任意结果。这个细节说明,指标实现也需要核查;调用一个函数或写一个简短公式,并不保证在所有边界输入下含义正确。
Brier分数越低表示当前评价资料上的概率平方误差越小,但它与结局比例和概率分布有关。应与适当基线一起看,不要孤立报告一个数字。模型间差异若用于正式结论,还需要匹配设计的不确定性分析;本篇没有用点估计差异替代这一环节。

怎样回应应用价值的质疑
首先把技术表现与实际应用分开。即使区分与校准都较好,也需要考虑目标人群适用性、测量可获得性、时间顺序和决策后果。若研究没有实施临床效用评价,就应删除“可直接用于临床”等表述,而不是用更多性能指标包装同一个未经验证的结论。
对于基因模型,还需要检查与现有临床信息相比是否增加价值。一个复杂基因评分若没有与简单指标比较,很难判断新增信息。选择基线应符合应用问题,不能故意挑很弱的对照。当前教学用常数和单变量基线解释方法,不代表具体疾病最合适的标准比较方案。
运行方法与交付文件
下载文末完整复现包,先解压并保留目录结构,将R的工作目录切换到workbook目录。输入位于data,公共函数位于scripts/common.R,分篇结果位于results。附件保留前序输出,便于单篇学习;如果改变输入、模型或前序参数,应顺序重跑所有受影响步骤,避免新数据与旧结果混用。
Rscript scripts/14.R
本篇脚本会生成三张图和对应表格。先检查日志是否正常结束,再核对实际输出的样本、字段、尺度与正文,不要仅凭文件存在判断运行成功。环境记录来自实际验证,包版本不是自动锁定;安装时需保持R与依赖相容。完整顺序运行入口和原始公开数据整理方法见包内说明,模拟与公开观测数据分别标注。
下面列出本篇完整R脚本。初学者可先原样运行,再在副本中改变一个参数观察影响。保留原始输入,不通过改组别、补造临床字段或删除不合预期的样本来解决报错。遇到缺少文件,首先检查工作目录和前序依赖;遇到数值差异,先核查版本与输入,再解释科学含义。
source("scripts/common.R")
o<-start(14);tr<-MASS::Pima.tr;te<-MASS::Pima.te
# 公开临床教学支线;固定训练/留出集,不称为外部临床验证
tr$y<-as.integer(tr$type=="Yes");te$y<-as.integer(te$type=="Yes")
f1<-glm(y~glu,data=tr,family=binomial());f3<-glm(y~glu+bmi+age,data=tr,family=binomial())
pred<-data.frame(y=te$y,prevalence=mean(tr$y),glucose=predict(f1,te,type="response"),three_variables=predict(f3,te,type="response"));tab(pred,paste0(o,"/heldout_predictions.csv"))
AP<-function(y,p){ord<-order(p,decreasing=TRUE);yy<-y[ord];pp<-p[ord];ends<-c(which(diff(pp)!=0),length(pp));recall<-cumsum(yy)[ends]/sum(yy);precision<-cumsum(yy)[ends]/ends;sum(diff(c(0,recall))*precision)}
metrics<-do.call(rbind,lapply(names(pred)[-1],function(n){p<-pred[[n]];data.frame(model=n,AUC=as.numeric(pROC::auc(pROC::roc(te$y,p,levels=c(0,1),direction="<",quiet=TRUE))),Brier=mean((p-te$y)^2),average_precision=AP(te$y,p),accuracy_at_0.5=mean((p>=.5)==te$y))}));tab(metrics,paste0(o,"/heldout_metrics.csv"))
# 校准图只是留出集评价,不在这里校准后再用同一数据宣称性能
bins<-cut(pred$three_variables,breaks=seq(0,1,.2),include.lowest=TRUE);cal<-aggregate(pred[,c("y","three_variables")],list(bin=bins),mean);cal$n<-as.integer(table(bins)[as.character(cal$bin)]);tab(cal,paste0(o,"/calibration_bins.csv"))
fig(paste0(o,"/fig1.png"),{plot(pROC::roc(te$y,pred$three_variables,levels=c(0,1),direction="<",quiet=TRUE),col="#277D9D",main="Fixed held-out set: discrimination");lines(pROC::roc(te$y,pred$glucose,levels=c(0,1),direction="<",quiet=TRUE),col="#DF8A49");legend("bottomright",c("3 variables","Glucose only"),col=c("#277D9D","#DF8A49"),lty=1)})
fig(paste0(o,"/fig2.png"),{plot(cal$three_variables,cal$y,xlim=c(0,1),ylim=c(0,1),pch=16,col="#277D9D",xlab="Mean predicted probability",ylab="Observed fraction",main="Calibration needs its own assessment");abline(0,1,lty=2)})
fig(paste0(o,"/fig3.png"),barplot(metrics$Brier,names.arg=c("Prevalence","Glucose","3 variables"),col=c("#A7BAC5","#DF8A49","#277D9D"),ylab="Brier score (lower is better)",main="Compare a simple baseline"))
saveRDS(list(training=tr,test=te,model=f3),paste0(o,"/prediction_case.rds"))
运行后保存逐样本预测,而不仅是汇总指标。这样后续可以检查异常概率、分箱人数和阈值结果,也便于他人重新计算指标。预测表中应明确结局编码和阳性方向;如果把阳性类别反过来,ROC方向与其他指标可能产生难以发现的混乱。
修改稿与回复示例
教学原稿:“AUC很高,证明模型具有临床诊断价值。”修改稿:“在既定留出资料中报告区分、概率误差和分箱校准,并与简单基线比较。该评价来自同一来源的拆分资料,尚不能证明外部适用性或临床效用。”
中文回复示例:“我们新增Brier分数、平均精确率和校准图,并保留常数及单变量基线。变量与模型在训练资料中确定,留出资料仅用于评价。修订文字不再把AUC点估计解释为已证实的应用价值。”
英文示例:“We added Brier scores, average precision, and a calibration plot, together with constant and single-variable baselines. The fixed held-out data are used for evaluation only. These results do not establish external transportability or clinical utility.”
把结果放回真实使用问题
检查模型需要的信息在预测时是否已经存在,目标人群是否与训练资料相似,以及评价结局是否对应实际用途。若这些问题没有回答,性能图再完整也只是开发证据的一部分。下一篇转入生存分析,继续检查结局编码、随访、截点与模型假设,避免把普通分类思路直接套到时间结局上。
实操练习:让同一组预测回答不同问题
先固定本篇保存的逐样本预测,不重新拟合模型。分别观察ROC、Brier分数和分箱校准,练习说明每张图增加了什么信息。若你只能把三个结果都概括为“模型很好”,说明还没有区分指标。应分别描述排序能力、概率误差和预测与观察比例的对应关系。
检查常数基线的预测值是否来自训练集,而不是测试集。它在ROC上没有区分能力,却仍可以作为概率误差比较的参照。一个复杂模型若在某项指标上没有明显改善,需要解释其价值,而不是把基线从图中删除。基线选择应符合目标问题,不能故意弱化对照以突出新模型。
查看每个校准分箱的样本数量。少量记录形成的观察比例容易波动,因此点偏离对角线未必说明系统性错误,点贴近也未必说明校准完美。正式研究若据此作重要判断,需要适合的不确定性评估。这里保留简单分箱演示,不把它包装成完整校准认证。
检查准确率使用的阈值是否预先固定。若把阈值从零点五改成测试集上最好的值,应把它视为一次选择,需要新的评价安排。不同阈值下的灵敏度与特异度权衡可以用于描述,但不能凭同一测试集最大值证明未来表现。阈值选择还应考虑应用代价,而非只追求一个综合数字。
比较平均精确率时,同时查看阳性比例和并列分值处理。常数预测应有可解释的基线,不能因记录排序改变而任意变化。若自己实现指标,可以用常数预测、完美预测和完全反向排序等简单情景核查,但这些核查只验证计算逻辑,不能验证模型在真实人群的效用。
若要报告模型间改善,区分点估计比较与正式差异推断。两个AUC数值不同,不意味着差异已被可靠证明;两个模型在同一测试集上评价,还存在配对关系。适当方法应考虑设计和不确定性,不能把每个测试样本复制多次来获得更窄区间。
最后给模型写一张使用边界卡:目标结局是什么,输入何时可得,开发与评价来自哪里,哪些人群尚未检查,是否做过实际决策评价。本例边界卡会明确历史公开教学数据、同来源拆分和未证明临床效用。读者迁移时应填写自己的真实条件,不能沿用教学结论作为应用许可。
把这些信息写回回复信,通常只需要概括新增指标、基线和解释范围,再指向完整表格。不要用指标数量替代论证。真正有用的补充,是让审稿人看到模型在哪些方面提供信息、哪些方面仍然不确定,以及这些限制是否改变论文原来的应用主张。
代码、数据与继续阅读
下载完整返修复现包:20篇R脚本、整理输入、起始结果、运行说明与版本记录。包含公共观测数据、明确标注的模拟与教学模板;不包含新实施的功能干预实验。解压后先阅读README。
承接第13讲:模型性能过高先查什么?用随机标签识别数据泄漏。
下一篇第15讲:生存分析怎样返修?事件、截点与模型假设核查。
数据与方法来源
数据与方法核查日期:2026年11月16日。本文为教学二次分析;具体适用范围见正文。
需要把方法用到自己的数据中?
如果你需要把审稿意见转成具体分析任务,可以准备去标识的意见摘要、数据类型、当前脚本和主要证据缺口,沟通适合的核查范围与交付材料。 联系云生信,说明当前研究任务。
