把一张 UMI 矩阵里的每个数字除以二,并不能回答“当初少测一半 reads,会损失什么”。因为原矩阵已经把多个测到同一分子的读段合并过了,也已经筛掉了一些条码。我们准备了一份很小但完整的双端 FASTQ。四千二百八十六对读段从头处理后得到两千五百五十一个不同分子。第一次以一半概率抽读对,留下两千一百七十八对,得到一千六百八十三个分子。原先五个通过门槛的稀有细胞条码全都掉出,另有一颗仍通过门槛的 T 细胞条码丢失了标记。两类损失值得分别数。

下载完整代码、示例数据与参考输出(ZIP) · 下载图文操作手册(PDF)
为什么要从一对读段开始
在这个透明的教学化学设计里,第一端的前十个碱基表示细胞条码,接下来的八个碱基表示分子标识,第二端在一条虚拟转录本上给出三十个碱基。真实平台的读取长度、条码位置和文库结构因版本而异,不能照抄示例坐标。我们还提供微型参考序列与四种人工基因,使读者可以用肉眼检查若干读段。它们没有模拟测序错误、剪接、多重比对或真实基因组背景。这里有意把定位问题做得简单,让统计差别可以归因到抽样和去重,而不会被复杂参考混淆。10x 的 FASTQ 输入说明
读取时两份 FASTQ 同步向前走,先核对读名、序列与质量长度,再决定整对保留还是整对略过。若两端各自随机抽一半,即使最后文件行数刚好相等,也很容易让一颗细胞的条码配到另一分子的转录本上。对于分 lane、分文库的正式项目,应先确认 lane 配对顺序和读名,按预先声明的比例分别处理好同一组 mates。某些现成工具支持用相同种子对严格同步的两份文件抽样,前提仍然是两个输入开始就处于相同顺序。练习直接用一次随机决定处理同一对,便于看清这条前提。seqtk 作者给出的双端抽样示例
def fastq(path):
with gzip.open(path,"rt") as f:
while True:
name=f.readline().rstrip()
if not name:break
seq=f.readline().strip();plus=f.readline().strip();quality=f.readline().strip()
if not name.startswith("@") or not plus.startswith("+") or len(seq)!=len(quality):raise ValueError("Truncated/malformed FASTQ")
yield name.split()[0].removesuffix("/1").removesuffix("/2"),seq
读段减半,为什么分子数没有跟着减半
对保留的第二端在四条人工转录本中做唯一精确匹配,找到归属后,将细胞条码、基因和 UMI 作为一个分子的键。同一分子若被重复测到三次,三对读段只产生一个分子计数。以一半概率抽样时,至少保留其中一个读对的概率为八分之七;若一个分子原来本就只有一个读对,那它被保留下来的概率就是二分之一。正因为不同分子的原始支持数不同,从读段抽样后去重的结果不能按比例从现成矩阵推出。真实数据还涉及 UMI 纠错、比对过滤等步骤,读段减少也可能改变这些决定。
我们使用三个固定种子,按独立伯努利决策实现“期望保留一半”。因此每次实际保留的对数不必刚好是总数的一半。原始文库里有四千二百八十六对,三次分别保留两千一百七十八、两千零八十六和两千一百二十三对,最后得到一千六百八十三、一千五百九十四和一千六百一十七个不同分子。如果研究协议要求固定抽取恰好某个读对数,应改用不放回定量抽取,并记录目标和实际读对数。三次输出共同说明的是这份文库在同一深度设定下的采样波动,不能当成三次独立上机的重复实验。
| 运行 | 保留读对 | 去重分子 | T 入选 | B 入选 | 稀有组入选 |
|---|---|---|---|---|---|
| 全量 | 4,286 | 2,551 | 30 | 24 | 5 |
| 半深度,种子 98 | 2,178 | 1,683 | 26 | 23 | 0 |
| 半深度,种子 99 | 2,086 | 1,594 | 24 | 22 | 0 |
| 半深度,种子 100 | 2,123 | 1,617 | 25 | 22 | 0 |
条码有没有入选,是第一个终点
六十个预期条码中有三十颗 T 样、二十四颗 B 样、六颗稀有类型。示例事先知道真值标签,实际分析不必依赖降深后可能已读不到的 marker 来倒推丢掉的类型。我们先在整库上以十八个不同分子作教学调用线,六颗稀有类型中有五颗过线,一颗在全深度就没有进入。于是后面描述稀有组的损失,分母应写五个原来确实入选的条码,而不是说“有六颗从图中消失”。三次减半,原来五颗均未过线。它们是这次固定的低分子数构造最先受影响的群,不能把模拟结果当成所有组织的稀有细胞都必然需要同一深度。
python -m pip install -r requirements.txt
python run.py --input example --out results
python run.py --input example --out results_025 --fraction 0.25 --minimum-umi 18
第二个终点只看全深度与降深后都入选的共同条码。先确认该条码在整库确实测到过自己的标记,再查减半后是否变为零。在种子九十八的结果中,有一颗这样的 T 样细胞,条码仍然保留,原标记却无从检出。另两组种子分别出现一颗 B 样和一颗 T 样的同类损失。单看降深后存活的条码数会漏掉这个问题,单在共同条码上画相关系数又会错过整批未入选的稀有条码。两类变化应分开写在同一张质量报告里,同时补上全部预期条码的分布,避免只展示结果最稳定的部分。
import pandas as pd
t = pd.read_csv("results/barcode_audit.tsv", sep="\t")
focus = t[t.arm.eq("down_98")]
print(focus.loc[focus.lost_barcode, ["barcode","type","umi"]])
print(focus.loc[focus.kept_but_lost_marker, ["barcode","type","umi","full_marker","marker_umi"]])
换成真实文库,要固定哪些东西
先保留完整深度下的细胞调用和细胞类型参考;每次降深后,使用同版参考、同一比对与计数流程生成原始和过滤矩阵。两套分析都应保存未过滤的条码信息,否则“在新过滤矩阵里找不到”会混合完全没有任何读段和有少量读段却没达到调用线两种情况。真实管线还可能根据背景动态识别细胞,与教学固定十八分子门槛不同。若工程上只是输入已经比对的文件去重复抽样,也要说明是从哪一层模拟,哪些上游步骤没有重跑。每一层所能回答的问题不同,不能一概称作测序减半。
正式设计可以比较多个深度点。在相同总体样本中保留明确的种子和抽样方式,逐位供者看常见类型、低丰度类型、目标标记检出和患者级结论的稳定性。若稀有群减少,先逐个查它在整库的分子量、目标基因支持强度及不同样本的分布。一个低丰度群只来自单个供者,与每位供者都有少量稳定成员,是两种完全不同的实验取舍。可以另做固定细胞数的分析,把“细胞变少”与“每个细胞测得更浅”尽量区分,但不要把它当成从原始读对降采样的替代结果。
读完表以后,可以另外数出“原本就没有检出标记”的保留条码。这些细胞在降深后仍为零,不属于新增的标记损失。同理,整库已经没过线的稀有条码也不应记作减半造成的损失。把原本是否达线、现在是否达线、原先标记和现有标记排成四列,几乎所有常见的分母混淆都能直接用布尔条件识别。希望复查的同事只要带着一个条码,从原 FASTQ 的同名读对开始一路数到这四列,即可独立核对结论。
最后,选择追加测序还是增加独立样本,依赖研究真正要保住的终点。若关心的标记在共同条码中已经稳定,而额外读段主要重复已有分子,追加深度可能带来的增量与抢救一批临界稀有细胞大不一样。可以先用这套小文库确认读对、UMI 和条码三层统计,再将同样的清单用于真实 FASTQ。需要在多份原始文库上反复比对计数时,再按压缩读段容量和计划并行的深度点选择云生信科研服务器租赁。
