单细胞分析

从 CELLxGENE 拼肺组织图谱,怎样发现被收录两次的细胞?

作者:发布于 2026-11-17约 8 分钟阅读
公开肺图谱的去重演示,两个集合有 222418 条记录,逐行筛选后保留 141592 条主记录

准备拼一张肺细胞图谱时,搜索结果里有一份胎肺的“全部细胞”,还有同一研究的髓系、内皮、成纤维和平滑肌文件。全下载再拼接,究竟多了多少细胞?只保留标题写着“全部”的文件,又是否会漏数据?我们从 CELLxGENE Census 的固定历史版本中实际取出两个肺图谱集合的逐条记录。结果最值得看的是那个成纤维与平滑肌文件:里面三万九千多条记录既有应当从合并统计中排除的,也有应该留下的。下面用能直接下载的小表把它们找出来。

公开肺图谱的去重演示,两个集合有 222418 条记录,逐行筛选后保留 141592 条主记录

下载完整代码、示例数据与参考输出(ZIP) · 下载图文操作手册(PDF)

固定版本和查询范围,否则两个正确的总数也对不上

案例选用二〇二三年七月二十五日的 Census 发布版,与官方肺组织示例对应。我们限定物种为人、广义组织字段为肺,再按两个原始集合的编号取其中所有数据集。成人肺一篇研究中既有液滴测序又有平板测序,胎肺研究还整理了多个细胞亚群文件。查询没有先筛主记录,因此可以从同一份输入看见哪些行将被排除。固定源地址、发布版本、数据集条件和列名都写进下载包,不需要下载表达矩阵即可完成下面的核对。CELLxGENE Census 肺组织官方示例

先看两个很容易混在一起的分母。同一发布版全人肺共有六百零一万一千五百九十二条观察记录,官方汇总的唯一细胞数为二百九十万七千一百五十六。随包取出的两个集合只有二十二万二千四百一十八条记录,其中十四万一千五百九十二条标为主记录。前一对数字来自整版肺组织的官方汇总表,后一对由随包的逐行元数据算出。向同事报告“搜到多少细胞”时,先补上这一行的物种、组织、集合范围和保留条件,才知道两组数字各自代表什么。

python -m pip install -r requirements.txt
python run.py --input example --out results

读者拿到的是十二个数据集即二十二万多行实际记录的元数据。每行都有该版观察行号、数据集编号、原始供者字段、具体组织、广义组织、测量技术以及主记录标记。目录表另存数据集所属集合、原研究名称、数据集标题和论文编号。连接这两张表请用数据集编号;仅凭标题“所有细胞”或者简称“肺”可能在不同研究中同时出现。脚本也会检查行号是否在输入里意外重复,从而抓住把同一个导出文件读了两遍的错误。

主记录是细胞行的属性

打开成纤维与平滑肌这一行。该文件有三万九千二百零四条记录,三万九千零二十八条为非主记录,另有一百七十六条为主记录。倘若因为它是某个谱系的小文件就整份删掉,会少掉最后这一百七十六条;把整个文件都留下,又会把大量已在数据库其他位置代表的观察再次计入。胎肺的内皮子集也同时包含两种记录,其中十条标为主记录。以同一篇论文为单位删文件,无法同时处理这些情况。Census 的数据结构和重复记录字段

def primary_value(raw):
    values={"true":True,"false":False,"1":True,"0":False}
    if raw.strip().lower() not in values:
        raise ValueError("Missing or unrecognized is_primary_data value: "+raw)
    return values[raw.strip().lower()]

如果使用 Python 直接判断字符串,字符串形式的假值也可能被当成真。脚本明确解析可接受的布尔形式,碰到空白与意料外的值会停止。数据库现场查询的布尔值可以直接筛选,导出成文本再转回来时尤其值得加这一关。每一行的决定均写到筛选清单里,分开记录保留和排除,原始行号完整保留。这样一旦发现某个亚群突然变少,就可以从具体行查回它是被条件筛掉,还是原本就没有进入查询。

同一固定版本下要复查的范围 总记录 主记录 如何解读
两个指定肺图谱集合 222,418 141,592 用随包元数据逐行可复算
胎肺研究的 All cells 文件 71,752 71,752 在本次组织筛选内全部被保留
胎肺成纤维与平滑肌文件 39,204 176 该文件混有主记录和非主记录
成人肺研究的 Smart-seq2 文件 8,657 8,657 和同研究的液滴文库分别追踪

同一位供者可以拥有很多不同的细胞

现在翻到供者来源表。成人肺集合中,编号为二的供者有两个数据集、两种技术,保留下来的主记录共三万二千零六十六条。按供者编号查重后只保留第一行,会把同一位供者身上正常测到的其他细胞一起删掉;反过来,两个文件中都出现这位供者,也不能算作两个独立的人。供者用于整理论文的样本量和研究设计,细胞行的重复表示则依靠主记录字段及原始来源判断。这两个层次都要记录,每一层需要的证据不同。

def donor_scope(record, datasets):
    dataset=datasets[record["dataset_id"]]
    return dataset["collection_id"],record["donor_id"]

这里把集合编号与作者提供的供者标识放在一起,目的是让人能回到具体研究核对。例如两个无关队列都可能有一位叫“一号”的供者,相同字符串本身没有身份连接能力。相反,一项研究再分析另一项研究的数据,同一位真人也可能以不同标识出现在不同集合里。遇到这种情况,应整理原始入组队列、取材编号、数据登记号和已发表的复用说明,再做跨研究供者对照表。本例胎肺数据中还有用逗号连接两个代号的供者记录,原样保留便于追查,不能未经核实就拆成两位各自拥有该行细胞的个体。

下面这段代码取出主记录与非主记录同时存在的数据集。它从刚才生成的结果表读取数量,可以直接改成只查看自己项目里的目标谱系。再把返回的数据集编号粘到供者来源表里,就能区分有多少来自同一位供者、用了哪些技术。若两份记录疑似代表同一颗细胞,而没有原始条码及文库前缀,应该把它记为待追查来源。公共行号在该发布版中唯一,不是所有不同数据库都能共用的生物细胞编号。

import csv
from pathlib import Path

with Path("results/dataset_counts.tsv").open(encoding="utf8") as handle:
    for item in csv.DictReader(handle, delimiter="\t"):
        if int(item["keep_primary"]) and int(item["exclude_nonprimary"]):
            print(item["dataset_title"], item["keep_primary"], item["exclude_nonprimary"])

决定取原始主记录,还是取论文重新整理的注释

如果目标是跨队列估计某类细胞有多少,先从明确筛过主记录的队列出发,再按研究、供者、组织区室统计比例。若项目专门复核一篇图谱论文重新整理的亚群名称,作者的二次注释文件可能正是有价值的输入。可以把它作为另一个分析对象,优先找原作者的条码对照回填注释,单列成功对上的数目、未对上的数目以及同名需要回查的文库。即使有相同的细胞类型与供者字符串,两份逐细胞数据也可能来自不同实验孔,单凭这些字段连接会错误制造一对多对应。

下载包另有一份在线提取脚本,可重新连接到固定版本的公共对象。默认离线运行已经足够检查所有数字。若要改成自己的研究,可以先用同样的元数据查询测算纳入规模,换组织时连同组织层级一起核对。只按细粒度组织名等于“肺”查询,可能遗漏肺实质、肺叶等被归到广义肺的来源。换版本后应重新导出目录、行号和筛选表;从旧版复制一列行号到新版表达对象,可能会指到另一批记录。Census 如何追溯数据集并生成引用

最后交给合作者的文件可以很小:本次用的集合、数据集和查询表达式,每个数据集筛选前后的计数,以及需要核对的供者复用名单。这样等到取表达矩阵时,读者已经知道要读哪些行、为什么读这些行;若要继续批量读取多份肺组织表达矩阵并重建邻居图,可以将已审过的查询和行号清单放到云生信科研服务器租赁环境使用。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗