
大量SRA下载任务需要管理run身份、缓存位置和每次状态,不能只看终端最后出现“下载完成”。先明确后续分析需要哪些run,记录数据规模及保存期限,再用prefetch下载并验证。项目号、实验号和run号不是同一层级,先把真实run清单整理好。
缓存目录保持accession身份
NCBI官方要求保留accession命名的目录,移动整个目录后也不随意改名。prefetch失败可以对同一目标再次调用,接续已下载内容;不能每次创建另一个缓存副本再说续传。以下固定prefetch-cache-001作为本轮已知缓存根,不指向其他项目目录。
| 材料 | 记录内容 | 用途 |
|---|---|---|
| runs.txt | 一行一个SRR、ERR或DRR及数字 | 拒绝重复、空行和误填项目号 |
| 缓存 | 根目录与accession子目录 | 后续转换可定位完整依赖 |
| 每次尝试 | 命令日志、退出码与验证状态 | 失败不会覆盖上次记录 |
| 容量表 | 下载体积、转换、临时盘与共存文件 | 单个限额不等于整盘额度 |
按清单顺序下载并校验
保存为download_runs.py,在已安装兼容SRA Toolkit的Linux环境运行。runs.txt可以来自已人工核对的Run Selector导出,另保存样本、实验和run的对应表。脚本支持Windows文本换行,拒绝重复和非严格run字符串,避免宽泛匹配把错误名称送去下载。
例如python download_runs.py 100G,这个数字是本例单个run允许的下载上限,实际按已知run大小及可用盘设置。prefetch默认最大下载量为20G,大run被限额跳过时先看日志。max-size不预留磁盘,也不能限制整批缓存总量。
import json, re, shutil, subprocess, sys, tempfile
from pathlib import Path
maximum = sys.argv[1]
assert re.fullmatch(r"[1-9][0-9]*[KMGT]?", maximum)
runs = Path("runs.txt").read_text(encoding="utf-8-sig").splitlines()
assert runs and len(set(runs)) == len(runs)
assert all(re.fullmatch(r"(SRR|ERR|DRR)[0-9]+", acc) for acc in runs)
for tool in ("prefetch", "vdb-validate"):
assert shutil.which(tool), tool
assert Path("/usr/bin/time").is_file()
root = Path("prefetch-cache-001")
assert not root.is_symlink()
root = root.resolve()
root.mkdir(exist_ok=True)
logs = root / "attempts"
assert not logs.is_symlink()
logs.mkdir(exist_ok=True)
attempt = Path(tempfile.mkdtemp(prefix="attempt-", dir=logs))
(attempt / "runs.json").write_text(json.dumps(runs, indent=2), encoding="utf-8")
records = []
def execute(acc, name, command):
with (attempt / (acc+"."+name+".log")).open("w") as log:
result = subprocess.run(["/usr/bin/time", "-v", "-o",
str(attempt / (acc+"."+name+".time.txt")), *command],
stdout=log, stderr=subprocess.STDOUT)
return result.returncode
for acc in runs:
dest = root / acc
assert not dest.is_symlink()
code = execute(acc, "prefetch",
["prefetch", acc, "--max-size", maximum, "-O", str(dest)])
checked = False
if code == 0:
if not dest.is_dir():
code = 1
else:
code = execute(acc, "validate", ["vdb-validate", str(dest)])
checked = code == 0
records.append({"accession":acc, "directory":str(dest),
"exit":code, "validated":checked})
print(acc, "VALIDATED" if checked else "FAILED", code, flush=True)
(attempt / "status.json").write_text(json.dumps(records, indent=2), encoding="utf-8")
print("evidence", attempt)
sys.exit(int(any(not r["validated"] for r in records)))
成功需要下载和验证都通过
每次尝试生成独立目录和status.json,只有prefetch退出成功、目标目录存在且vdb-validate通过才标VALIDATED。失败run继续记录,整批最终仍返回非零。重新运行使用同一缓存并再次校验,不因旧日志或目录存在直接跳过验证。
脚本按单进程顺序操作;不要同时启动两个进程写同一accession缓存。校验失败先查下载中断、文件损坏或依赖问题,保留日志再按官方工具恢复,不直接修改内部数据文件。受控数据的授权与配置另按其流程处理,本例不包含凭据。
把缓存和计算空间一起规划
prefetch缓存不等于FASTQ,fasterq-dump转换另需输出盘及临时空间。下载包、转换结果、参考、分析中间文件和待回传结果可能同时存在,应逐项列入容量表,不能用压缩包大小推断整个项目占盘。只确认必要run后再扩展,避免下载完整项目却只分析少量样本。
GNU Time记录的下载时间含网络、缓存命中与服务响应,不能当CPU计算性能。先测一两个代表run的缓存增长、验证耗时和后续转换,再安排小并发。网络拥塞时增加下载进程可能更慢,并增加未完成缓存的管理负担。
转换与分析验收前保留所需原始数据及依赖,何时清理按项目保存策略决定,不在下载脚本自动删除缓存。迁移时一并保存run清单、目录关系、Toolkit版本及验证证据,接收端重新核对材料,不能只搬出几个同名文件就认定任务可恢复。
需要额外算力时
适用前提:后续计算任务明确,下载缓存和计算工作盘超出现有容量,并确认有后续服务器分析任务。如需额外资源,可评估服务器租赁及按需工作盘或存储。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
