论文里写着比较治疗前后的免疫细胞,你从 GEO 收到十二个看似独立的样本文件夹,准备给每一列填上病例编号。此时最值得先完成的图,是一张从文件连回患者的小表。同一个人可以先后取两次材,一块组织可以分两管建库,一份文库又能以矩阵、条码和基因清单三个文件交付。只要在其中一条连线上把文件当成了人,后面所有按供者计算的均值、误差和配对关系都会跟着改变。本篇用一套可下载的模拟交付记录,把十二份文库一路数回能够参加比较的患者。

拆开 GEO 记录里的三种名字
先找研究的系列编号和相应的样本条目,在纸上各写下一例。系列页面方便找到整项研究,样本条目记录提交者如何组织一组实验材料。两者都值得保留,但提交者在样本条目里放进一份文库、一个混合池还是一个拆分后的供者,要读该研究自己的字段说明。论文写了多少人可以作为最后的核对依据,不能直接填成表达矩阵的每一列。尤其留意一个系列同时收录单细胞、配套测序或不同批次补充实验的情况,先把属于本问题的记录圈出来。NCBI GEO 数据结构
把样本页的原标题、来源组织、处理描述、补充文件名先原样抄进一张工作表,再开新列填写你的统一编码。比如同一人首次支气管镜取材和手术时再次取材,在作者表中可能分别以病理编号和研究编号出现。能确认这两个编号指向同一个人的依据应来自补充表、明确的配对说明或作者提供的对照。名称前缀相似只能提示该去哪里查。如果暂时没有对照,把来源留空,其他已经确认的文库可以继续分析。
先规定每张表的一行是什么
练习包里有三张制表符分隔的文件。文库表每行代表一次建库,保留它对应的模拟样本编号和标本编号。标本表每行代表一次取材,记录供者、部位与访问时间。文件表每行只有一个文件和产生它的文库。这样一来,添加一份基因注释文件只会改变文件数,增加一管技术建库只会改变文库数,只有新增供者记录才会改变可确认的人数。把粒度写清以后,拿任意一行追问“我增加了哪种重复”就有了具体答案。
这三张表也让异常能够单独留下来。本例把一份没有文件的随访文库放在文库表里,另有一份确实拿到文件但标本还查不清的文库。前者能证明有人进行过随访取材,目前没有可纳入本次表达分析的输入。后者可以做有限的文库层面质控,不能算作新患者。若只做一次合并并丢弃匹配不上的行,两种问题会一起消失,看起来表格干干净净,实际上读者已经无从解释研究对象为什么变少。
| 手里的证据 | 可以计入哪一层 | 还需要补什么 |
|---|---|---|
| 一份文库有矩阵和条码两个文件 | 一份文库,两份文件 | 回查二者是否使用同一组条码 |
| 同一标本分两管建库 | 两份文库,一次取材 | 保留技术重复关系 |
| 一位患者前后各取一次组织 | 一位供者,两个时间点 | 分别确认两份材料都有可用输入 |
| 有文件、有文库、找不到患者键 | 已接收文库 | 先查作者注释和论文补充表 |
跟着一份文库走完两次匹配
下载完整代码、示例数据与参考输出(ZIP) · 下载图文操作手册(PDF)
解压资料,在有脚本的文件夹打开终端。下面的命令只处理包内的三张表,不需要联网下载测序数据。若你习惯用电子表格,也可以先打开这些表找出文库 L01,再把手工判断和输出逐项比较。
python run.py --input example --out results
脚本先检查每张表里应当唯一的键,再把多个文件按文库归集。随后从文库表出发逐行追溯,无论右边是否能匹配到记录,都保留原来的文库。以下就是完整程序里负责这一步的函数。可以故意在自己的副本里删掉一个标本编号,再观察待核对表怎样变化。
def trace_library(lib, specimens, files_by_library):
specimen = specimens.get(lib["specimen_id"], {})
files = files_by_library.get(lib["library_id"], [])
donor = specimen.get("donor_id", "")
issues = []
if not specimen:
issues.append("specimen_unmapped")
elif not donor:
issues.append("donor_unknown")
if not files:
issues.append("no_input_file")
return {**lib, "donor_id": donor, "site": specimen.get("site", ""),
"visit": specimen.get("visit", ""), "file_count": len(files),
"status": ",".join(issues) or "ready"}
先手算 L01。它有两条文件记录,对应同一个标本,最终只会贡献给同一个供者。再换 L03 和 L04,这次是两个文库编号都指向同一标本,测量重复的层次发生了变化。最后查 L11,它来自同一名供者的另一处取材,同属基线时间。这里即使有新的组织部位,供者也不会凭空增加。如果你的目的是比较肺组织在两个时间点的变化,还要明确同一人的淋巴结材料是否应排除,或者单独作为部位差异分析。
同一个人进入几份表,取决于这次比较
运行后打开结果目录里的供者表。十二份文库中有十一份可以追到供者,共涉及五人。在得到这个数字之后再数配对,当前确实有可用基线和可用随访材料的只有两位。供者 P03 的随访记录位于缺少输入文件的文库中,因而已知其参加过随访,却还不能画出他的前后表达连线。这个区别对撰写方法部分尤其重要,一句“纳入五人”若没有交代其中几人参加哪些比较,读者容易把总队列人数带入每一个子图。
def collect_donors(manifest):
by_donor = defaultdict(list)
for row in manifest:
if row["donor_id"]:
by_donor[row["donor_id"]].append(row)
donors = []
for donor, rows in sorted(by_donor.items()):
visits = {r["visit"] for r in rows if r["status"] == "ready"}
paired = {"baseline", "followup"} <= visits
donors.append({"donor_id": donor, "library_count": len(rows),
"specimen_count": len({r["specimen_id"] for r in rows}),
"usable_visits": ",".join(sorted(visits)), "paired": int(paired)})
return donors
如果数据经过多供者混池建库,供者和文库之间会出现多对多关系。此时应另外保存解混后的细胞条码、供者标签和标签置信度,用文库与条码的组合把供者分配带回细胞层。本练习采用每份文库可追溯到一个标本的设计。把混池中的全部细胞贴上一个推测的患者名,会覆盖掉双标签和未分配细胞,也会让所谓的供者重复失去意义。绘图前先检查能明确归属的条码比例,再决定哪些分析可以使用这批数据。
给一个准备发表的数字留下核对办法
把样本流向写成一句能从表中重新算出来的话。先交代最初收到多少文库,其中多少能找到供者,有多少份取得符合条件的输入,最后说明本次比较实际用到几人。每一个排除项附一条理由,再将清洗后的清单与原始记录一起存档。真实项目的交付目录往往包含不同压缩格式,同一矩阵还可能同时提供稀疏文本版和一个二进制版。有两个可下载文件不等于恢复了两份独立的测量,应查看它们代表的表达内容和条码集合。GEO 文件与下载说明
再用一次反向核验。任选一位进入配对分析的人,从供者表倒着找出两个访问时间、对应标本、实际文库及文件,然后挑一位没有进入配对的人,用同样的顺序查清缺了哪一环。若第一位只能找到两份来自同一个访问时间的材料,或者第二位其实有一份以旧名保存的随访矩阵,这个检查会直接揭示错误。原始清单最好添加来源文件名和作者表中的行号,日后合作者补来一份对照表时,你才能精确指出哪一行有了新证据。
真实研究常常还涉及某些供者授权公开处理后矩阵,但原始测序数据另有访问条件。做这张清单并不需要先取得所有原始数据。把已能取得的处理后材料、尚待申请的文件以及每份材料支持的分析步骤分别记下,一份缺少原始读段的样本仍可能支持细胞类型注释或已有矩阵的重新统计。若后续确实需要统一重跑上游,整份队列的样本、文库和文件体量此时已经有据可查。等本地试跑遇到实际的存储或并发限制,再按这张清单安排后续计算。云生信科研服务器租赁
