R

生信论文返修实战07/20|换个阈值还成立吗?做有边界的敏感性分析

作者:发布于 2026-11-17约 15 分钟阅读
生信论文返修实战第7讲:换个阈值还成立吗?做有边界的敏感性分析

生信论文返修实战20讲 · 第07讲 · 核查统计与验证

生信论文返修实战第7讲:换个阈值还成立吗?做有边界的敏感性分析
系列目录:生信论文返修实战20讲(当前第7讲)
  1. 第01讲:收到返修意见后怎么办?把审稿问题拆成可执行任务
  2. 第02讲:返修前先冻结分析:输入、版本与结果怎样重放
  3. 第03讲:样本量为什么对不上?核查纳入、排除与重复测量
  4. 第04讲:样本太少怎样回应?报告效应、区间与真实限制
  5. 第05讲:差异分析被质疑:模型、方向和多重检验逐项核查
  6. 第06讲:要求校正年龄和批次?先判断资料是否支持
  7. 第07讲:换个阈值还成立吗?做有边界的敏感性分析(本篇)
  8. 第08讲:独立验证不一致怎么办?保留全部候选与证据
  9. 第09讲:富集结果怎样返修?检查背景、方向和贡献成员
  10. 第10讲:单细胞显著性可靠吗?先认清细胞、文库与供体
  11. 第11讲:细胞注释与比例被质疑:标记依据和分母怎样交代
  12. 第12讲:拟时序和通讯怎样改写?避免把推断写成机制
  13. 第13讲:模型性能过高先查什么?用随机标签识别数据泄漏
  14. 第14讲:只有ROC不够:校准、误差与简单基线一起评价
  15. 第15讲:生存分析怎样返修?事件、截点与模型假设核查
  16. 第16讲:审稿人要求补实验:公共数据能支持到哪一层
  17. 第17讲:图形与图注怎样修改?展示样本、效应与不确定性
  18. 第18讲:方法写到哪里才够?参数、版本与数据代码可用性
  19. 第19讲:逐条回复怎么写?把动作、证据和修改位置对应起来
  20. 第20讲:提交返修前最后一查:正文、回复与附件保持一致

点击目录按篇次顺序学习;文末复现包包含全系列代码与起始数据。

换一个阈值就换一个结论,怎样做敏感性分析

审稿人看到一个漂亮的候选结果,往往会问:如果阈值稍有变化、某个样本没有纳入,结论还成立吗?这不是要求作者尝试所有可能方法,而是要求判断结论是否依赖脆弱的选择。本篇把敏感性分析限制在有解释的情景内,并展示怎样保存全部结果,避免把它变成寻找显著性的工具。

教学审稿意见:请检查主要结果对筛选阈值与个别样本的敏感程度,并说明不稳定结果如何影响结论。

主分析继续使用已冻结的发现矩阵和分组模型。我们开展两个不同层次的检查:一是改变候选展示阈值,观察通过基因数量;二是逐一省略十一个对照中的一个,重新拟合并记录REG1A效应。前者主要影响列表边界,后者评估少量对照对固定候选的影响,二者不能混为同一种稳健性证明。

先写下为什么选择这些情景

敏感性情景应该对应真实的不确定性。若审稿人担心效应阈值任意,就比较有限且合理的幅度规则;若担心某个样本推动结果,就做样本影响检查;若担心协变量模型,则在资料支持时比较合理公式。没有明确问题的参数扫描会产生大量难以解释的结果,也增加选择性报告风险。

本篇使用两档错误发现率阈值与三档效应幅度阈值,形成一个小网格。它不宣称这些值对所有研究都最合适,只用于说明列表如何变化。规则在代码中集中写明,并保存每个组合的数量。不能看完结果后只留下能够支持原结论的一格,再把它称为敏感性分析。

列表大小变化本身是预期现象。提高门槛通常减少通过者,因此“不同阈值下基因数不同”不等于结果失败。需要进一步看主问题是否改变:固定候选的方向是否稳定,主要通路的解释是否依赖少数边缘成员,核心结论是否只有在一个特别宽松的条件下成立。

检查层次 本篇操作 能够回答什么 不能自动回答什么
列表规则 有限阈值网格 候选数量对规则的依赖 机制是否真实
样本影响 逐一省略对照 单个对照对候选效应的影响 所有样本都没有偏差
主分析比较 保留原模型结果 修改相对起点的变化 最佳方法一定是哪一个
解释更新 同时报告稳定与不稳定部分 结论应该保留多强 保证下一研究重复
有限阈值网格的实际通过基因数,所有情景均保留。
图1:有限阈值网格的实际通过基因数,所有情景均保留。

留一法检查的是影响,不是挑选样本

本例每次省略一个对照,使用剩余对照和全部患者重新拟合。输出表保留被省略的样本标识与效应。主分析仍包含所有符合规则的样本;不会因为省略某个对照后概率值更小,就把该样本永久删除。排除真实样本需要独立的质量或设计理由。

这项检查适合观察当前少量对照是否具有明显影响,但范围有限。我们没有逐一省略全部患者,也没有检查所有可能的样本组合,更没有解决共同混杂。即使效应在这十一种情景中保持同向,也只能说在这项具体检查下方向较稳定,不能扩写成“结果不受任何样本影响”。

图上的虚线表示主分析效应,点表示各情景的重新估计。首先看符号是否改变,再看变化幅度是否相对主效应很大。若只看每次是否跨过一个显著性阈值,会忽略连续变化。接近阈值的结果可能因为很小波动而改变标签,这不等于生物效应突然出现或消失。

逐一省略一个对照后的REG1A效应;主分析仍保留全部合格样本。
图2:逐一省略一个对照后的REG1A效应;主分析仍保留全部合格样本。

发现不稳定时先解释来源

如果某个样本影响特别大,应回查它的来源、质量和注释,而不是立即删除。它可能是技术异常,也可能代表真实异质性。若缺乏充分依据,主分析保留它,并在补充分析中展示变化。如果因此主要结论不再稳固,就应降低结论强度或把该结果列为探索性。

若不同合理模型得出不同方向,应优先检查它们估计的目标是否相同。加入协变量可能改变比较对象,限制样本可能改变适用人群,重新过滤可能改变检验家族。把所有差异都称为“方法不一致”过于笼统。返修文字需要指出实际改变了什么,以及哪一种分析最贴近原研究问题。

另一个常见误区是把所有敏感性结果取交集,称作最终可靠结果。交集可以作为一种保守筛选规则,但不自动解决依赖关系、共同偏差或统计功效问题。是否使用交集需要解释目的,并保留原始情景结果,不能让读者只看到被筛选后留下的少数成员。

把敏感性分析写进补充材料

建议用一张表列出每个情景的改变项、保持项、有效样本数和主要结果。保持项同样重要,因为它说明比较是否公平。例如本篇留一检查保持模型和比较方向不变,只改变一个对照的纳入;若同时更换算法和阈值,就无法把变化归因于样本影响。

情景编号应与脚本和图注一致。正文不必逐行罗列全部数字,可以概括方向和幅度,并指出例外;完整表放在附件。不要只放一张没有样本标识的折线图,因为审稿人无法进一步核查哪个样本对应异常点。图形用于看模式,表格用于追溯来源。

运行方法与交付文件

下载文末完整复现包,先解压并保留目录结构,将R的工作目录切换到workbook目录。输入位于data,公共函数位于scripts/common.R,分篇结果位于results。附件保留前序输出,便于单篇学习;如果改变输入、模型或前序参数,应顺序重跑所有受影响步骤,避免新数据与旧结果混用。

Rscript scripts/07.R

本篇脚本会生成三张图和对应表格。先检查日志是否正常结束,再核对实际输出的样本、字段、尺度与正文,不要仅凭文件存在判断运行成功。环境记录来自实际验证,包版本不是自动锁定;安装时需保持R与依赖相容。完整顺序运行入口和原始公开数据整理方法见包内说明,模拟与公开观测数据分别标注。

下面列出本篇完整R脚本。初学者可先原样运行,再在副本中改变一个参数观察影响。保留原始输入,不通过改组别、补造临床字段或删除不合预期的样本来解决报错。遇到缺少文件,首先检查工作目录和前序依赖;遇到数值差异,先核查版本与输入,再解释科学含义。

source("scripts/common.R")
o<-start(7);x<-read_x("discovery");m<-read_m("discovery");d<-load_de()
# 只改变预先声明的阈值;主分析不因结果更好看而更换
grid<-expand.grid(FDR=c(.01,.05),effect=c(.5,1,1.5));grid$count<-mapply(function(q,e)sum(d$adj.P.Val<q&abs(d$logFC)>=e),grid$FDR,grid$effect);tab(grid,paste0(o,"/threshold_sensitivity.csv"))
idx<-which(m$group=="Control");loo<-sapply(idx,function(i){r<-de(x[,-i,drop=FALSE],m[-i,]);r$logFC[match("REG1A",r$gene)]});tab(data.frame(omitted=m$sample[idx],logFC=loo),paste0(o,"/leave_one_control.csv"))
fig(paste0(o,"/fig1.png"),barplot(grid$count,names.arg=paste(grid$FDR,grid$effect,sep="/"),col="#277D9D",xlab="FDR / effect cutoff",ylab="Selected genes",main="Prespecified parameter grid"))
fig(paste0(o,"/fig2.png"),{plot(loo,pch=16,col="#277D9D",xlab="Omitted control index",ylab="REG1A log2FC",main="Sample influence, not a deletion rule");abline(h=d$logFC[match("REG1A",d$gene)],lty=2)})
fig(paste0(o,"/fig3.png"),flow(c("Define plausible alternatives before rerunning","Change one decision at a time","Keep unfavorable as well as favorable results","Revise confidence to match observed stability"),"A sensitivity appendix is an audit trail"))

运行后对照阈值表和留一结果表,确认两项检查没有混用分母。阈值表计数的是通过规则的基因,留一表记录的是某个固定基因在不同样本情景下的效应。代码注释区分这两个层次,读者替换候选时也应保持这种区分。

先定义情景,再比较结果并记录不稳定部分。
图3:先定义情景,再比较结果并记录不稳定部分。

原稿和回复应该保留检查范围

教学原稿:“多种敏感性分析证明结果完全可靠。”修改稿:“在所列阈值情景和逐一省略对照的检查中,报告候选效应及其变化;这些分析用于评估特定选择的影响,不能排除共同混杂或其他未检查的偏差。”最终还需依据实际输出填入方向与变化幅度,而不是提前写好稳定结论。

中文回复示例:“我们新增有限阈值网格和逐一省略对照的分析,完整保存每个情景。主分析的纳入规则未因概率值变化而修改。解释限定于这些已实施的检查,未将其扩展为对所有潜在偏差的排除。”

英文示例:“We added a finite threshold grid and leave-one-control-out analyses, retaining all scenario outputs. Samples were not excluded on the basis of improved significance. The interpretation is limited to the sensitivity checks actually performed.”

一次有效的返修练习

给自己的主结果写下三个最可能影响解释的选择,然后按研究设计挑选其中最重要的一到两个进行检查。为每个情景提前规定需要比较的量,例如效应方向、效应差值或预测误差,而不是只规定“看显不显著”。这样得到的表格更容易直接支持修改讨论。

如果检查发现结论脆弱,不要把它当作需要隐藏的失败。它告诉你现有证据在哪些条件下成立,也提示后续应增加什么样本或信息。下一篇将把检查从同一研究内部推进到另一项独立研究,观察固定候选能否在不同资料中提供相容的表达证据。

实操练习:给每种情景设定一个判读问题

对阈值网格,判读问题可以是“主要候选是否只在最宽松规则下被选中”;对留一检查,可以是“省略某个对照是否改变效应方向或造成明显幅度变化”。先把问题写下来,再运行代码,能够减少看到结果后临时更改成功标准的倾向。不同情景回答不同问题,不需要强行合并成一个稳健性分数。

打开阈值表,检查提高效应门槛后数量是否按预期变化。如果出现反常关系,先排查筛选代码、缺失值处理与不同输入版本。这里的单调性只是逻辑核查,不是科学证明。通过后再观察候选列表边缘,识别哪些基因因为接近阈值而容易改变标签,并在解释中使用连续效应而非二元身份。

打开留一表,按效应大小排序,找到变化最大的情景,再回到被省略样本的注释。这个动作仅用于核查影响来源,不意味着应该删除它。若没有独立质量问题,可以把变化作为不确定性信息保留。若确有错误注释,应先纠正输入,再重新运行主分析与全部情景,而不是只选择一个留一结果当最终答案。

为每次检查记录保持不变的内容,包括基因映射、分组参考、模型和候选定义。若某个情景必须改变有效样本数,明确说明变化原因。否则读者可能把样本变化造成的差异误认为算法差异。多个因素同时变化时,可以称为替代分析,但不要声称已经单独识别某个因素的影响。

如果主结论在合理情景间不稳定,列出最小的可支持结论。例如可以保留“观察到关联线索”,却不再写“稳定标志物”;可以保留某个研究中的方向,却不声称跨条件普适。返修不必把所有不确定性消除,但必须让结论强度与检查结果相符。

最后检查补充材料有没有只保留成功情景。完整表应包括不支持原判断的结果与无法运行的情景说明,失败运行不能填成零效应。若某项检查因资料不足而不适用,应解释原因,而不是把空白视作通过。这样形成的敏感性分析能够真正帮助审稿人评估研究边界。

代码、数据与继续阅读

下载完整返修复现包:20篇R脚本、整理输入、起始结果、运行说明与版本记录。包含公共观测数据、明确标注的模拟与教学模板;不包含新实施的功能干预实验。解压后先阅读README。

承接第06讲:要求校正年龄和批次?先判断资料是否支持。

下一篇第08讲:独立验证不一致怎么办?保留全部候选与证据。

数据与方法来源

数据与方法核查日期:2026年11月16日。本文为教学二次分析;具体适用范围见正文。

需要把方法用到自己的数据中?

如果你需要把审稿意见转成具体分析任务,可以准备去标识的意见摘要、数据类型、当前脚本和主要证据缺口,沟通适合的核查范围与交付材料。 联系云生信,说明当前研究任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗