云生信学生物信息学

prefetch批量下载教程:清单、状态校验与缓存容量规划

作者:发布于 2026-11-21更新于 2026-11-15约 9 分钟阅读
让每个run有状态

让每个run有状态:核对run清单;保留身份目录;下载后验证;规划转换共存盘
本文操作与检查路径示意。

大量SRA下载任务需要管理run身份、缓存位置和每次状态,不能只看终端最后出现“下载完成”。先明确后续分析需要哪些run,记录数据规模及保存期限,再用prefetch下载并验证。项目号、实验号和run号不是同一层级,先把真实run清单整理好。

缓存目录保持accession身份

NCBI官方要求保留accession命名的目录,移动整个目录后也不随意改名。prefetch失败可以对同一目标再次调用,接续已下载内容;不能每次创建另一个缓存副本再说续传。以下固定prefetch-cache-001作为本轮已知缓存根,不指向其他项目目录。

材料 记录内容 用途
runs.txt 一行一个SRR、ERR或DRR及数字 拒绝重复、空行和误填项目号
缓存 根目录与accession子目录 后续转换可定位完整依赖
每次尝试 命令日志、退出码与验证状态 失败不会覆盖上次记录
容量表 下载体积、转换、临时盘与共存文件 单个限额不等于整盘额度

按清单顺序下载并校验

保存为download_runs.py,在已安装兼容SRA Toolkit的Linux环境运行。runs.txt可以来自已人工核对的Run Selector导出,另保存样本、实验和run的对应表。脚本支持Windows文本换行,拒绝重复和非严格run字符串,避免宽泛匹配把错误名称送去下载。

例如python download_runs.py 100G,这个数字是本例单个run允许的下载上限,实际按已知run大小及可用盘设置。prefetch默认最大下载量为20G,大run被限额跳过时先看日志。max-size不预留磁盘,也不能限制整批缓存总量。

import json, re, shutil, subprocess, sys, tempfile
from pathlib import Path

maximum = sys.argv[1]
assert re.fullmatch(r"[1-9][0-9]*[KMGT]?", maximum)
runs = Path("runs.txt").read_text(encoding="utf-8-sig").splitlines()
assert runs and len(set(runs)) == len(runs)
assert all(re.fullmatch(r"(SRR|ERR|DRR)[0-9]+", acc) for acc in runs)
for tool in ("prefetch", "vdb-validate"):
    assert shutil.which(tool), tool
assert Path("/usr/bin/time").is_file()
root = Path("prefetch-cache-001")
assert not root.is_symlink()
root = root.resolve()
root.mkdir(exist_ok=True)
logs = root / "attempts"
assert not logs.is_symlink()
logs.mkdir(exist_ok=True)
attempt = Path(tempfile.mkdtemp(prefix="attempt-", dir=logs))
(attempt / "runs.json").write_text(json.dumps(runs, indent=2), encoding="utf-8")
records = []
def execute(acc, name, command):
    with (attempt / (acc+"."+name+".log")).open("w") as log:
        result = subprocess.run(["/usr/bin/time", "-v", "-o",
                   str(attempt / (acc+"."+name+".time.txt")), *command],
                   stdout=log, stderr=subprocess.STDOUT)
    return result.returncode
for acc in runs:
    dest = root / acc
    assert not dest.is_symlink()
    code = execute(acc, "prefetch",
                   ["prefetch", acc, "--max-size", maximum, "-O", str(dest)])
    checked = False
    if code == 0:
        if not dest.is_dir():
            code = 1
        else:
            code = execute(acc, "validate", ["vdb-validate", str(dest)])
            checked = code == 0
    records.append({"accession":acc, "directory":str(dest),
                    "exit":code, "validated":checked})
    print(acc, "VALIDATED" if checked else "FAILED", code, flush=True)
(attempt / "status.json").write_text(json.dumps(records, indent=2), encoding="utf-8")
print("evidence", attempt)
sys.exit(int(any(not r["validated"] for r in records)))

成功需要下载和验证都通过

每次尝试生成独立目录和status.json,只有prefetch退出成功、目标目录存在且vdb-validate通过才标VALIDATED。失败run继续记录,整批最终仍返回非零。重新运行使用同一缓存并再次校验,不因旧日志或目录存在直接跳过验证。

脚本按单进程顺序操作;不要同时启动两个进程写同一accession缓存。校验失败先查下载中断、文件损坏或依赖问题,保留日志再按官方工具恢复,不直接修改内部数据文件。受控数据的授权与配置另按其流程处理,本例不包含凭据。

把缓存和计算空间一起规划

prefetch缓存不等于FASTQ,fasterq-dump转换另需输出盘及临时空间。下载包、转换结果、参考、分析中间文件和待回传结果可能同时存在,应逐项列入容量表,不能用压缩包大小推断整个项目占盘。只确认必要run后再扩展,避免下载完整项目却只分析少量样本。

GNU Time记录的下载时间含网络、缓存命中与服务响应,不能当CPU计算性能。先测一两个代表run的缓存增长、验证耗时和后续转换,再安排小并发。网络拥塞时增加下载进程可能更慢,并增加未完成缓存的管理负担。

转换与分析验收前保留所需原始数据及依赖,何时清理按项目保存策略决定,不在下载脚本自动删除缓存。迁移时一并保存run清单、目录关系、Toolkit版本及验证证据,接收端重新核对材料,不能只搬出几个同名文件就认定任务可恢复。

需要额外算力时

适用前提:后续计算任务明确,下载缓存和计算工作盘超出现有容量,并确认有后续服务器分析任务。如需额外资源,可评估服务器租赁及按需工作盘或存储。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗