
ENCODE里同一实验可能同时提供BAM、不同信号定义的bigWig和多个处理版本。只收集下载链接,容易把不同组装或不同信号混在一起。本篇从已筛选的metadata.tsv生成可审阅计划,保留文件accession、实验、输出类型和参考,再决定下载与后续分析。
先让复用目标决定文件选择
若要自己重新过滤或计数,关注适用BAM及其处理来源;若只比较覆盖轨迹,先确定bigWig的归一化和output type。两个都是bigWig不代表单位相同,fold-change与信号覆盖不能直接同图当作同一个量。下载前还需阅读实验质量与审计信息,不能仅以文件大小挑一个版本。
| 元数据 | 用途 | 核对方式 |
|---|---|---|
| File accession | 唯一定位文件 | 保留ENCFF编号,不用生物样本名替代 |
| Experiment accession | 追溯实验及重复 | 查看生物/技术重复与处理来源 |
| File assembly | 约束坐标体系 | 与后续BED、注释、参考一致 |
| Output type | 区分信号与处理结果 | 同格式仍需同意义 |
| Size、md5sum、URL | 容量、完整性、获取位置 | 下载后按原始内容校验 |
生成一份不会静默混组装的计划
先从官方筛选页保存metadata.tsv与查询条件。以下Python只选择GRCh38的BAM/bigWig,这个组装值是教学选择,实际研究须修改;其他组装不自动转换。列名依据本次官方metadata接口真实表头,导出结构变化时先核对表头,不能猜列序号。输出目录和计划文件均要求全新。
import csv,re
from pathlib import Path
assembly="GRCh38"
with open("metadata.tsv",encoding="utf-8-sig",newline="") as f:
reader=csv.DictReader(f,delimiter="\t")
need={"File accession","File format","Output type","Experiment accession",
"File assembly","Size","md5sum","File download URL"}
assert need<=set(reader.fieldnames or [])
rows=[r for r in reader if r["File assembly"]==assembly
and r["File format"].lower() in {"bam","bigwig"}]
assert rows
seen=set();total=0
plan=[]
for r in rows:
acc=r["File accession"]
assert re.fullmatch(r"ENCFF[0-9]{3}[A-Z]{3}",acc) and acc not in seen
seen.add(acc)
size=int(r["Size"]);assert size>0
assert re.fullmatch(r"[0-9a-fA-F]{32}",r["md5sum"])
assert r["File download URL"].startswith("https://www.encodeproject.org/")
plan.append([acc,r["Experiment accession"],assembly,r["File format"],
r["Output type"],size,r["md5sum"],r["File download URL"]])
total+=size
Path("encode-plan-001").mkdir()
with open("encode-plan-001/plan.tsv","x",newline="") as f:
w=csv.writer(f,delimiter="\t")
w.writerow(["accession","experiment","assembly","format","output_type","bytes","md5","url"])
w.writerows(plan)
print("选中文件",len(plan),"总GiB",total/2**30)
目录按文件标识保存,说明放在旁边
审阅计划中的output_type,再按实验设计选取一致文件集,不为了凑数量把所有选中项都加入分析。建议以组装/文件accession建立目录,同时保存原始文件名;样本、组织和重复关系放在元数据表中。下载工具对重定向使用正确选项,官方files.txt的第一行可能是metadata链接,不能将其也当成一个BAM。
取一个文件完成小批验收:文件大小与md5sum相符,BAM头或bigWig染色体长度与所选参考相符,实验与来源链接可回查。bigWig可读不证明信号单位正确,BAM的quickcheck也只覆盖部分结构;版本选择和分析适用性仍需单独检查。
保留原计划,再扩到队列
保存metadata.tsv、计划、查询日期和下载日志。文件被替换或撤回时重新评估,旧计划作为来源证据保留,不静默改成新链接。不同参考确需坐标转换时,另建处理结果并记录映射规则与未成功区域,不能把转换后的文件写回原accession目录冒充原始下载。
记录所用文件是单个重复、合并重复还是其他处理结果,不能将同一实验的合并信号与其各重复同时当作独立样本。来源表中的derived from也应保留,方便识别不同文件是否实际来自相同原始数据。
容量先统计所选原文件,再加索引、计算中间文件和结果;bigWig体积不能用于推断生成它时BAM所需空间。先以少量文件完成真实后续任务,明确输入保留期限和计算工作盘,之后才扩展下载。只想查看公开轨迹时,先确认是否需要保留完整本地副本,避免下载目标先于研究问题膨胀。
参考资料
需要额外算力时
适用前提:已明确复用目标,批量数据和后续计算需要额外工作空间,并确认有后续服务器分析任务。如需额外资源,可评估服务器租赁及按需工作盘或存储。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
