云生信学生物信息学

ENCODE批量数据组织:元数据清单、参考版本与存储目录

作者:发布于 2026-11-21更新于 2026-11-15约 8 分钟阅读
ENCODE先保存文件身份

ENCODE先保存文件身份:核对输出意义;固定参考版本;生成文件计划;按accession验收
本文操作与检查路径示意。

ENCODE里同一实验可能同时提供BAM、不同信号定义的bigWig和多个处理版本。只收集下载链接,容易把不同组装或不同信号混在一起。本篇从已筛选的metadata.tsv生成可审阅计划,保留文件accession、实验、输出类型和参考,再决定下载与后续分析。

先让复用目标决定文件选择

若要自己重新过滤或计数,关注适用BAM及其处理来源;若只比较覆盖轨迹,先确定bigWig的归一化和output type。两个都是bigWig不代表单位相同,fold-change与信号覆盖不能直接同图当作同一个量。下载前还需阅读实验质量与审计信息,不能仅以文件大小挑一个版本。

元数据 用途 核对方式
File accession 唯一定位文件 保留ENCFF编号,不用生物样本名替代
Experiment accession 追溯实验及重复 查看生物/技术重复与处理来源
File assembly 约束坐标体系 与后续BED、注释、参考一致
Output type 区分信号与处理结果 同格式仍需同意义
Size、md5sum、URL 容量、完整性、获取位置 下载后按原始内容校验

生成一份不会静默混组装的计划

先从官方筛选页保存metadata.tsv与查询条件。以下Python只选择GRCh38的BAM/bigWig,这个组装值是教学选择,实际研究须修改;其他组装不自动转换。列名依据本次官方metadata接口真实表头,导出结构变化时先核对表头,不能猜列序号。输出目录和计划文件均要求全新。

import csv,re
from pathlib import Path
assembly="GRCh38"
with open("metadata.tsv",encoding="utf-8-sig",newline="") as f:
    reader=csv.DictReader(f,delimiter="\t")
    need={"File accession","File format","Output type","Experiment accession",
          "File assembly","Size","md5sum","File download URL"}
    assert need<=set(reader.fieldnames or [])
    rows=[r for r in reader if r["File assembly"]==assembly
          and r["File format"].lower() in {"bam","bigwig"}]
assert rows
seen=set();total=0
plan=[]
for r in rows:
    acc=r["File accession"]
    assert re.fullmatch(r"ENCFF[0-9]{3}[A-Z]{3}",acc) and acc not in seen
    seen.add(acc)
    size=int(r["Size"]);assert size>0
    assert re.fullmatch(r"[0-9a-fA-F]{32}",r["md5sum"])
    assert r["File download URL"].startswith("https://www.encodeproject.org/")
    plan.append([acc,r["Experiment accession"],assembly,r["File format"],
                 r["Output type"],size,r["md5sum"],r["File download URL"]])
    total+=size
Path("encode-plan-001").mkdir()
with open("encode-plan-001/plan.tsv","x",newline="") as f:
    w=csv.writer(f,delimiter="\t")
    w.writerow(["accession","experiment","assembly","format","output_type","bytes","md5","url"])
    w.writerows(plan)
print("选中文件",len(plan),"总GiB",total/2**30)

目录按文件标识保存,说明放在旁边

审阅计划中的output_type,再按实验设计选取一致文件集,不为了凑数量把所有选中项都加入分析。建议以组装/文件accession建立目录,同时保存原始文件名;样本、组织和重复关系放在元数据表中。下载工具对重定向使用正确选项,官方files.txt的第一行可能是metadata链接,不能将其也当成一个BAM。

取一个文件完成小批验收:文件大小与md5sum相符,BAM头或bigWig染色体长度与所选参考相符,实验与来源链接可回查。bigWig可读不证明信号单位正确,BAM的quickcheck也只覆盖部分结构;版本选择和分析适用性仍需单独检查。

保留原计划,再扩到队列

保存metadata.tsv、计划、查询日期和下载日志。文件被替换或撤回时重新评估,旧计划作为来源证据保留,不静默改成新链接。不同参考确需坐标转换时,另建处理结果并记录映射规则与未成功区域,不能把转换后的文件写回原accession目录冒充原始下载。

记录所用文件是单个重复、合并重复还是其他处理结果,不能将同一实验的合并信号与其各重复同时当作独立样本。来源表中的derived from也应保留,方便识别不同文件是否实际来自相同原始数据。

容量先统计所选原文件,再加索引、计算中间文件和结果;bigWig体积不能用于推断生成它时BAM所需空间。先以少量文件完成真实后续任务,明确输入保留期限和计算工作盘,之后才扩展下载。只想查看公开轨迹时,先确认是否需要保留完整本地副本,避免下载目标先于研究问题膨胀。

参考资料

需要额外算力时

适用前提:已明确复用目标,批量数据和后续计算需要额外工作空间,并确认有后续服务器分析任务。如需额外资源,可评估服务器租赁及按需工作盘或存储。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗