云生信学生物信息学

GDC批量数据准备:清单校验、下载恢复与计算存储分区

作者:发布于 2026-11-21更新于 2026-11-15约 7 分钟阅读
GDC下载按UUID验收

GDC下载按UUID验收:冻结下载清单;核算原文件总量;保留恢复目录;逐文件核对MD5
本文操作与检查路径示意。

安排GDC下载空间时,先以实际manifest计算总量,再预留恢复文件、解压或下游计算所需空间。下载盘与计算盘可以分开,但若位于同一文件系统,复制后两份共存都要计入容量。本篇处理已经选定且具备访问资格的数据,不把访问令牌当作获取项目授权的替代。

先冻结清单和下载范围

从GDC导出manifest,保留筛选日期、数据发布信息、文件类型和样本对应元数据。一个UUID标识文件,文件名相同不代表相同内容;不要仅按TCGA样本简称改名归档。受控数据先确认当前账户有对应访问资格,并按机构要求准备存储和运行环境,下载目标目录不与公开共享区混用。

容量项 填写依据 容易漏算的部分
下载原文件 manifest中size求和 失败时尚未完成的内容
计算工作区 具体流程的临时峰值 排序、索引及解压副本
结果与回传 正式输出和校验副本 下载与结果同时保留
访问与来源 open/controlled、版本、授权范围 令牌过期不等于文件损坏

用同一个检查器做计划和验收

将下段保存为check_gdc.py,manifest.tsv放在同一目录,下载目标为downloads。程序要求标准清单字段,拒绝重复UUID、异常文件名和无效size;校验时按UUID目录定位,逐块计算MD5,不把大文件整体读入内存。它检查文件内容完整性,不验证样本是否属于研究设计。

import csv,sys,uuid,re,hashlib
from pathlib import Path
mode=sys.argv[1]
assert mode in {"plan","verify"}
with open("manifest.tsv",encoding="utf-8-sig",newline="") as f:
    reader=csv.DictReader(f,delimiter="\t")
    assert {"id","filename","md5","size"} <= set(reader.fieldnames or [])
    rows=list(reader)
assert rows
seen=set();total=0
for r in rows:
    uid=str(uuid.UUID(r["id"]))
    assert uid not in seen;seen.add(uid)
    name=r["filename"]
    assert name and name not in {".",".."} and "/" not in name and "\\" not in name
    size=int(r["size"]);assert size>0
    assert re.fullmatch(r"[0-9a-fA-F]{32}",r["md5"])
    total+=size
    if mode=="verify":
        path=Path("downloads")/uid/name
        assert path.is_file() and path.stat().st_size==size,(uid,"缺文件或大小不符")
        digest=hashlib.md5()
        with path.open("rb") as inp:
            for block in iter(lambda:inp.read(8*1024*1024),b""):digest.update(block)
        assert digest.hexdigest()==r["md5"].lower(),(uid,"MD5不符")
print("文件数",len(rows),"字节数",total,"GiB",total/2**30)

下载中断后保留恢复现场

在已验证的gdc-client环境执行。先读计划结果并与目标文件系统df和账号配额比较,确认足够再下载;下例为公开访问文件。重试保持相同manifest和downloads目录,客户端可以复用其恢复状态,不要把部分文件改名当成已完成。

set -euo pipefail
python3 check_gdc.py plan
gdc-client --version
mkdir -p downloads
gdc-client download -m manifest.tsv -d downloads > download.log 2>&1
python3 check_gdc.py verify

受控访问时,按官方方式在download命令加-t指向本人获准令牌文件;令牌正文不写入博客、清单、共享脚本或日志。实际传输前核对令牌有效期和授权项目。认证失败先处理访问条件,网络中断与校验失败按对应日志排查,不能通过跳过校验来标记成功。

交接的是清单、校验和目录对应关系

下载结束应做到每个UUID都有对应文件,字节数和MD5通过,失败记录清零后才进入计算。保存manifest自身校验值、客户端版本、日志及样本元数据;同一清单恢复前再次核对,避免中途换成另一轮筛选结果。目录中额外文件另行盘点,不自动纳入本批统计。

本脚本GiB按二进制换算,不能直接与标为十进制GB的套餐数值混算。检查df时指向真实目标目录,另确认配额;一块盘有空闲而个人额度已满,也会导致下载无法继续。

文件有新版本时按新的清单另建目录,避免把旧结果与更新文件混合。计算前确认输入格式与组装、允许用途和下游工具,下载完成不代表可以直接合并分析。容量计划还要写明哪些文件长期保留、哪些是已验收后可按制度处理的计算中间文件;不能用删除仍用于恢复的文件来临时凑空间。

参考资料

需要额外算力时

适用前提:具备所需访问资格且后续计算明确,现有工作盘容量不足,并确认有后续服务器分析任务。如需额外资源,可评估服务器租赁及按需工作盘或存储。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗