
批量下载公共数据时,磁盘计划应覆盖整个生命周期:下载SRA、验证、转换未压缩FASTQ、压缩以及归档。只计算最终fastq.gz的大小,会漏掉转换时的峰值。最容易执行的办法,是先顺序跑通一个accession,再按真实峰值安排下一批。
给每个accession建立独立路径
清单至少保存accession、数据来源、文库类型、预期读段结构和处理状态。缓存保留下载文件,临时区只服务本次转换,输出区存放待验收FASTQ。它们可以位于不同盘,但应记录实际挂载关系;同盘时仍要合并预算。
下面示例需要已安装SRA Toolkit和gzip,并预先设置有写权限的根目录。ACC填写核对过的SRR、ERR或DRR编号;线程数由当前获配CPU决定,不用主机总核心数代替。新临时和输出目录若已存在就停止,避免混入旧文件。
set -eu
: "${ACC:?填写accession}"
: "${CACHE_ROOT:?填写下载根目录}"
: "${WORK_ROOT:?填写工作盘根目录}"
: "${OUT_ROOT:?填写输出根目录}"
: "${THREADS:?填写已获配线程数}"
case "$ACC" in SRR*|ERR*|DRR*) accession_number=${ACC#???} ;; *) exit 2;; esac
case "$accession_number" in *[!0-9]*|"") exit 2;; esac
case "$THREADS" in *[!0-9]*|"") exit 2;; esac
test "$THREADS" -gt 0
mkdir -p "$CACHE_ROOT" "$WORK_ROOT" "$OUT_ROOT"
scratch="$WORK_ROOT/$ACC"
out="$OUT_ROOT/$ACC"
mkdir "$scratch"
mkdir "$out"
prefetch "$ACC" -O "$CACHE_ROOT/$ACC" > "$out/prefetch.log" 2>&1
vdb-validate "$CACHE_ROOT/$ACC" > "$out/validate.log" 2>&1
fasterq-dump "$CACHE_ROOT/$ACC" -e "$THREADS" -t "$scratch" \
-O "$out" --size-check only > "$out/size-check.log" 2>&1
fasterq-dump "$CACHE_ROOT/$ACC" -e "$THREADS" -t "$scratch" \
-O "$out" -p > "$out/conversion.log" 2>&1
printf 'conversion_exit=0\n' > "$out/conversion.done"
prefetch的输出路径末级保留accession名称,转换时传入该目录,不随意改名搬散内部文件。若下载因默认大小上限停止,应先查看工具帮助和数据大小,再设置合理上限;这不等于转换所需空间。失败时脚本停止,应从对应日志判断,而不是看done文件之外的零散输出。
| 阶段 | 保留内容 | 进入下一阶段的条件 |
|---|---|---|
| 下载与验证 | accession目录和日志 | 下载完成、vdb-validate通过 |
| FASTQ转换 | 输出文件、转换日志 | 退出正常,读段结构与数量核对 |
| 压缩与归档 | 压缩文件、校验值 | 压缩测试通过,归档能读取 |
| 回收工作空间 | 清理记录、必要源文件 | 无活动进程,保留策略已满足 |
压缩成功以后再回收原FASTQ
先按元数据核对预期文件:双端、单端及额外读段的情况不能统一按“两份文件”判断。检查FASTQ记录结构、序列与质量长度以及日志中的写出计数;压缩测试只检查压缩流,不会证明样本标签正确,也不能代替这些核对。
set -eu
set -C # noclobber protects existing output even if a name appears after the test
# 替换为已经验收的一份FASTQ;不覆盖已有压缩结果
FASTQ=/absolute/path/to/validated.fastq
test -r "$FASTQ"
test ! -e "$FASTQ.gz"
gzip -c "$FASTQ" > "$FASTQ.gz"
gzip -t "$FASTQ.gz"
sha256sum "$FASTQ.gz" > "$FASTQ.gz.sha256"
这里用gzip -c保留未压缩文件,因此压缩期间两份同时占盘。压缩失败会留下不完整的新文件,应先记录失败、确认进程退出,再处置该明确文件;不要把它与已验证结果一起归档。只有gzip测试与归档复读通过后,才按清单回收原FASTQ。
清理按任务清单进行
成功转换通常会清除工具生成的临时文件,但仍应查看本次独立临时目录。确认空目录后可使用rmdir,它会拒绝删除非空目录。保留SRA还是只保留可验证FASTQ,应由重新下载成本和项目留存要求决定,不能批量删除其他课题组的缓存。
批量扩展时,先按accession逐个转换,再从实测增加并发;活跃转换、待压缩文件与归档积压必须一起预算。记录每批峰值、完成数量和失败项,下一批才有依据调整工作盘或运行窗口。
清单状态可依次记为下载完成、验证通过、转换通过、FASTQ验收、归档通过、允许清理。失败项保留失败步骤与日志位置,不直接标记完成;下一批只接收有可用空间和明确状态的任务,避免未压缩数据在盘上持续积压。
需要额外算力时
适用前提:已估算临时空间且本地容量确实不足。如需额外资源,可评估服务器租赁及按需工作盘或存储。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
