云生信学生物信息学

Census数据提取教程:查询条件、分批导出与资源监控

作者:发布于 2026-11-21更新于 2026-11-15约 9 分钟阅读
Census导出先固定版本

Census导出先固定版本:固定release版本;流式读取joinid;小批保存稀疏对象;核对跨片守恒
本文操作与检查路径示意。

从Census提取大量细胞时,先固定数据版本,再按明确的细胞范围分批导出。一次get_anndata会把所选切片装入内存,输出H5AD较小也不代表提取峰值低。本文示范人类肺B细胞的raw表达提取,重点是版本、细胞身份和分片完整性,不默认公共图谱中的细胞已经适合直接合并统计。

固定版本,避免重跑时查询变化

在已验证的cellxgene-census、TileDB-SOMA和AnnData环境中,先查看get_census_version_directory,选定实际release_build。stable是可变别名,不是长期可复现的版本值。下面通过环境变量CENSUS_VERSION读入已选定的日期版本;运行前填写真实值并记录依赖,不能照抄旧教程里的历史stable日期。

记录项 本例内容 复核目的
版本 固定release_build 重跑仍读取同一Census
细胞过滤 肺B细胞、is_primary_data 减少跨数据集重复计入
细胞标识 soma_joinid及dataset_id 跨分片追溯来源
表达层 RNA/raw 不误当已标准化表达
导出批次 每批最多1000细胞 按实测内存再调整

流式读标识,再提取小切片

代码创建新目录,初次试跑用一千细胞作为批次教学值;基因仍为所选版本的RNA特征集合,基因数也影响峰值。它逐个Arrow结果批次读取细胞ID,不先把整张表达矩阵物化。若只需要特定基因,应另加经过核对的var过滤并把条件写入记录。

import os,json,gc
from pathlib import Path
import cellxgene_census as cc
from scipy import sparse
version=os.environ["CENSUS_VERSION"]
assert version not in {"stable","latest"}
condition="tissue_general == 'lung' and cell_type == 'B cell' and is_primary_data == True"
root=Path("census-export-001");root.mkdir()
(root/"query.json").write_text(json.dumps({"version":version,"organism":"Homo sapiens",
    "obs_filter":condition,"X":"raw","batch":1000},indent=2))
part=0;total=0
with cc.open_soma(census_version=version) as census:
    obs=census["census_data"]["homo_sapiens"].obs
    with (root/"parts.tsv").open("x") as manifest:
        manifest.write("part\tcells\tgenes\n")
        for arrow in obs.read(value_filter=condition,column_names=["soma_joinid"]).tables():
            ids=arrow.column("soma_joinid").to_numpy()
            for lo in range(0,len(ids),1000):
                chosen=ids[lo:lo+1000]
                a=cc.get_anndata(census,organism="Homo sapiens",obs_coords=chosen,
                    obs_column_names=["soma_joinid","dataset_id","donor_id","is_primary_data"],
                    var_column_names=["feature_id","feature_name"],X_name="raw")
                got=a.obs["soma_joinid"].to_numpy()
                assert a.n_obs==len(chosen) and len(set(got))==len(got)
                assert set(got)==set(chosen) and sparse.issparse(a.X)
                assert a.var["feature_id"].is_unique
                name=f"part-{part:05d}.h5ad"
                a.write_h5ad(root/name)
                manifest.write(f"{name}\t{a.n_obs}\t{a.n_vars}\n");manifest.flush()
                total+=a.n_obs;part+=1
                del a;gc.collect()
assert total>0,"查询无细胞,先核对版本与条件"
print("分片",part,"细胞",total)

验收分片身份和表达范围

重读首末分片,核对查询版本、元数据字段、细胞数及稀疏矩阵。每片的soma_joinid必须与查询一致,全部分片合计应与同条件元数据计数一致,并检查跨片ID不重复;donor_id需结合dataset_id解释,不能默认不同数据集同名donor就是同一个人。

is_primary_data用于处理Census已标识的重复来源,不替代本研究样本去重与设计评估。基因在某些数据集未测到与表达为零含义不同,后续跨数据集分析还需核对特征测量覆盖。保留dataset元数据、原始来源及所需引用,不能只交一个失去来源的合并矩阵。

根据实际峰值调整导出安排

每批内存同时受细胞数、非零项、基因数和对象转换影响;一千细胞不是通用安全上限。用独立进程记录RSS与时间,首批先确认输出可重读,随后逐步调整。不要在最后将全部H5AD读回列表拼接,重新制造整体物化峰值;下游应使用适用的磁盘方式或受控批次。

soma_joinid是该Census版本里的索引标识,不是过滤后从零开始连续的行号。不能用第几行的偏移量冒充joinid,否则分批时会取到不同细胞。上例从查询真实标识再取切片;保存每片ID清单,也能在网络失败后明确哪些细胞尚未验收。

下游按供者或数据集汇总时,先保留这些字段再建立分析单位,不把每个细胞直接当生物学重复。数据来源、疾病与处理条件还需回查原始研究,公共标签相同不等于实验设计相同。

网络失败保留query与parts记录,新任务使用相同版本并明确剩余细胞清单;不能重新取stable后接着写同一批。正式交接还要补各文件校验值、跨片守恒和实际容量,只有这些通过后,再按后续分析计划安排计算与保留空间。

参考资料

需要额外算力时

适用前提:合理筛选后仍需保存和分析大量细胞,现有计算存储不够,并确认有后续服务器分析任务。如需额外资源,可评估服务器租赁及按需工作盘或存储。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗