国自然生信实战20讲 · 第11讲 · 检查结论是否可靠

系列目录:国自然生信实战20讲(当前第11讲)
- 第01讲:国自然里的生信从哪里开始?把研究方向拆成可分析的问题
- 第02讲:公共数据怎么选?找到与你的研究问题真正匹配的数据集
- 第03讲:下载数据后先做什么?表达矩阵、样本分组和基因编号整理
- 第04讲:为什么有些数据不能直接分析?看懂异常样本与批次效应
- 第05讲:差异表达怎么做才有解释价值?从统计显著到生物学意义
- 第06讲:富集分析结果太多怎么办?从通路列表提炼研究主线
- 第07讲:哪些基因值得继续研究?把表达、功能和文献证据放在一起
- 第08讲:基因升高说明了什么?区分单个基因变化与功能状态变化
- 第09讲:换一批数据还成立吗?手把手做独立队列验证
- 第10讲:差异真的是疾病造成的吗?识别混杂因素与缺失信息
- 第11讲:换个阈值结论就变了?用敏感性分析检查结果稳定性(本篇)
- 第12讲:两个队列结果不一致怎么办?从差异中发现研究边界
- 第13讲:为什么整体组织的变化还不够?用单细胞定位表达来源
- 第14讲:是细胞变多了,还是细胞内部表达变了?拆解两种解释
- 第15讲:关键细胞发生了什么变化?从细胞类型走向功能状态
- 第16讲:细胞之间可能如何影响彼此?把通讯线索变成可验证的问题
- 第17讲:从一堆图到一个科学假说:整理现有证据与关键缺口
- 第18讲:生信之后做哪些实验?把候选线索拆成逐步验证的任务
- 第19讲:样本量和验证队列怎么规划?用模拟看清研究可行性
- 第20讲:把整个项目串起来:形成可复现分析包和完整技术路线
点击目录按篇次顺序学习;文末复现包包含全系列代码与起始数据。
稳健性分析不是再试一次直到显著
同一份数据可以采用不同阈值,也可能受到个别样本影响。研究者需要知道结论在合理选择范围内是否稳定,但这与反复尝试参数、只留下最理想结果有本质区别。本篇把敏感性分析限定为两个明确问题:改变效应阈值时名单如何变化,以及逐个移除一个对照时教学候选的效应是否明显改变。
主结果沿用前文的完整发现队列,不因敏感性分析而自动更改。我们把所有设定和输出保存下来,让读者看到变化的范围。若发现某个选择导致结论翻转,下一步是调查原因并收窄结论,而不是把不利版本藏起来。敏感性分析有价值,正是因为它允许发现原来结论没有那么稳。
阈值改变,差异基因数量自然会改变
第05篇使用FDR小于0.05并且绝对log2倍数变化至少为1的演示规则。本篇在相同统计条件下,分别使用0.5、1和1.5的效应阈值,统计通过的基因数。阈值越严格,数量通常越少。这是筛选规则的直接结果,不能把较多的差异基因解释成分析质量更高,也不能仅凭数量少就否定数据。

更有用的问题是:你关心的核心候选是否在合理阈值下保持相近效应?功能方向是否主要由边界附近的成员决定?某些基因恰好贴着阈值,轻微变化就会从“通过”变成“不通过”,但它们的实际估计可能几乎没变。因此,敏感性分析应保留连续效应和区间,而不是只计算候选名单的交集大小。
为什么重点检查对照的影响
发现集中有74个患者样本和11个对照样本。对照数量较少,每个对照对参照分布的贡献相对较大。本篇逐次移除一个对照,使用其余样本重新拟合完整基因矩阵,再记录REG1A的效应估计。这样能够直观观察候选变化是否对某一个对照特别敏感。我们没有根据结果认定任何对照应当被删除。
这里重新拟合完整矩阵很重要。limma的经验贝叶斯步骤会利用基因间信息,如果只取一个基因重新运行,就改变了原来方法的背景。敏感性分析应尽量只改变我们计划检验的那一个因素,其他流程保持一致。否则观察到差异后,就难以知道究竟是删样本还是换了分析方法造成的。
主分析和敏感性分析要保持清楚关系
主分析应由事先确定的问题与合理方法定义,敏感性分析用来检查它对特定选择的依赖。不能每次看到新结果就把最有利版本升级为主分析,再把旧版本放到补充材料。如果确实发现主流程存在错误,应该明确修正并重新生成所有相关结果;修错与择优展示是不同性质的变化。
本篇阈值表只改变名单定义,模型效应本身没有因阈值改变而重新估计。因此,某基因从名单中消失,不意味着它的表达变化突然不存在。这个例子很适合帮助初学者理解连续估计和离散选择的区别。报告时可以同时展示变化范围,而不是只说某个基因在三种阈值下“存活”。
留一对照分析则改变了模型输入,因而效应与方差估计都会变化。我们每次省略一个对照,保留其他条件,以观察影响。若省略某个样本导致较大变化,先回查它是否测量异常;若没有证据,应把它视作真实不确定性的一部分。删掉它后结果更漂亮,不是删除理由。
可以进一步比较重点候选之间的留一范围,但不要把范围最小的基因自动视为最有机制价值。统计稳定性是一个维度,测量特异性、生物学问题和可验证性仍然重要。一个稳定的已知标记可以帮助校准流程,却未必构成新的研究问题;一个尚不稳定的线索则可能需要更多资料。
建议在输出文件名中保留参数与省略样本的标识,并确保图注与表格一致。若只保存最后一次运行的图片,很容易在写作时混淆主结果和备选结果。把所有计划内检查一次性列出并保存,可以减少这种错误,也让合作者有机会独立判断结论的范围。
运行方法与输出检查
下载文末完整复现包后先解压,将R的工作目录切换到其中的workbook目录,再运行下方命令。不要只复制某一行分析语句,因为公共函数、输入文件和前序结果需要保持同一套目录关系。本篇读取发现矩阵、模型结果与教学候选;附件已包含这些起始文件,因此可以单独学习本篇,也可以按顺序运行全系列。
Rscript scripts/11.R
脚本会把本篇表格和三张图写入results/11目录。运行结束后先检查输出表中的样本标识、列名与正文说明,再打开图片核对坐标和分组。出现报错时保留原始输入,先查工作目录、文件完整性及依赖版本,不要通过改分组或填补不存在的数据来让代码继续。下载包内的版本记录来自实际验证环境,安装时请保持R与Bioconductor依赖相容。
下面提供本篇完整R脚本;它会载入scripts/common.R中的公共函数。共用函数、数据整理代码和逐步日志也包含在复现包中,便于检查每一步的输入与输出。
source("scripts/common.R")
o<-start(11);d<-load_de();x<-read_expr("discovery");m<-read_meta("discovery");lead<-lead_gene()
thresholds<-c(.5,1,1.5);counts<-sapply(thresholds,function(t)sum(d$adj.P.Val<.05 & abs(d$logFC)>=t));save_table(data.frame(logFC_cutoff=thresholds,genes=counts),paste0(o,"/thresholds.csv"))
# Leave one control out; refit the full gene matrix to preserve empirical Bayes estimation.
idx<-which(m$group=="Control");loo<-sapply(idx,function(i){t<-fit_de(x[,-i,drop=FALSE],m[-i,]);t$logFC[match(lead,t$gene)]})
save_table(data.frame(omitted=m$sample[idx],logFC=loo),paste0(o,"/leave_one_control_out.csv"))
fig(paste0(o,"/fig1.png"),barplot(counts,names.arg=thresholds,col="#199C97",xlab="Absolute log2FC threshold",ylab="Genes",main="Counts depend on the cutoff"))
fig(paste0(o,"/fig2.png"),{plot(loo,pch=16,col="#199C97",xlab="Omitted control index",ylab=paste(lead,"log2FC"),main="Leave-one-control-out sensitivity");abline(h=d$logFC[match(lead,d$gene)],lty=2)})
fig(paste0(o,"/fig3.png"),flow(c("Prespecify a small set of plausible choices","Keep every run and its reason","Compare effect direction and magnitude","Report instability instead of choosing the best P"),"Sensitivity analysis is not result shopping"))
留一图如何读
横轴表示本次省略的对照,纵轴表示重新估计的REG1A变化,虚线对应主分析结果。若各点都在相近范围,说明在这一特定检查下,没有单个对照独自决定效应大小。若有某个点明显偏离,应回查该样本的表达、注释和原始质控。它可能是测量异常,也可能代表真实的对照异质性,不能只因为影响较大就自动排除。

这个检查不等于已经证明结果完全稳健。它没有穷尽患者样本影响、平台注释、未知混杂和模型假设,也没有弥补对照数偏少的问题。写作时应说“在逐个省略对照的检查中,观察到怎样的变化范围”,而不是把一次有限检查概括成“排除了所有偏差”。稳健性总是相对于明确的一组改变而言。
| 检查问题 | 改变什么 | 保持什么不变 | 如何解释 |
|---|---|---|---|
| 阈值敏感性 | 效应筛选阈值 | 输入、模型和FDR规则 | 名单对筛选规则的依赖 |
| 个别对照影响 | 每次省略一个对照 | 其余样本和模型流程 | 是否存在强影响样本 |
| 注释敏感性 | 有依据的映射方案 | 比较问题和样本集合 | 候选是否依赖注释选择 |
| 模型敏感性 | 合理协变量或函数形式 | 预先定义的研究目标 | 估计对假设的依赖 |
合理选择范围应该来自哪里
阈值与模型备选应来自领域知识、测量特点和预先规定的分析计划,而不是事后围着最显著的结果调整。比如,某个重点候选有多个探针,比较不同合理汇总方法是有针对性的检查;无理由地尝试大量过滤比例,直到得到最大变化,则很难解释其科学意义。分析前写清理由,能够减少这种滑动。
正式项目还可以记录一个简短的分析决策表:主设置是什么,备选设置为什么合理,哪个结论预期可能受影响,何时需要停止并重新检查数据。这个表不必复杂,却能让团队成员知道每次重跑是在回答问题,而不是不断“优化”结果。对于多人协作的生信任务,它也能避免不同版本的图混用。

如果结论真的翻转了怎么办
先确认是否存在代码或样本匹配错误,再判断翻转是否由信息量不足、极端样本、测量歧义或设计差异引起。若合理分析都无法给出稳定方向,当前资料可能不适合作为强研究基础。可以把它保留为探索线索,或优先安排小规模预实验与额外样本,而不是继续堆叠更多下游方法来掩盖不稳定。
反过来,若效应方向稳定但显著性有时越过阈值,也不应机械宣布结论失效。统计显著与否受到样本量和标准误影响。应结合效应大小、区间和研究目标判断,说明证据有多强、在哪些设置下变得不确定。把连续估计转换成二元标签,常常会夸大本来很小的差别。
给读者一个可执行的练习
先运行本篇原始脚本,保存阈值表和留一结果。然后挑一个不是REG1A的面板成员,只修改候选读取部分,比较它的效应稳定性。不要修改样本集合,也不要为了得到更稳定结果更换规则。练习的重点是理解不同候选可能有不同的不确定性结构,而不是证明每个面板成员都可靠。
本篇把内部稳健性说清后,下一篇将回到两项研究之间的差别:为什么一个队列支持、另一个队列不支持,以及什么时候不应该直接进行效应合并。外部不一致可能揭示研究边界,也可能暴露发现阶段的问题,值得正面分析。
代码、数据与继续阅读
下载完整复现包:20篇R脚本、整理输入、起始结果、运行说明与版本记录。包含公共数据教学子集;不包含任何实际实验结果。解压后先阅读README。
承接第10讲:差异真的是疾病造成的吗?识别混杂因素与缺失信息。
下一篇第12讲:两个队列结果不一致怎么办?从差异中发现研究边界。
数据与方法来源
数据与方法核查日期:2026年11月16日。本文为教学二次分析;具体适用范围见正文。
需要把方法用到自己的数据中?
如果候选验证不一致,可以准备两组数据的纳入规则、效应表和缺失信息,先厘清哪些问题能由现有数据回答。 联系云生信,说明当前研究任务。
