云生信学生物信息学

为公共数据下载转换设计工作盘与清理流程

作者:发布于 2026-11-16更新于 2026-11-15约 7 分钟阅读
公共数据转换也要有清理关口

公共数据转换也要有清理关口:下载独立缓存;验证后转换;压缩复读校验;按清单回收
本文操作与检查路径示意。

批量下载公共数据时,磁盘计划应覆盖整个生命周期:下载SRA、验证、转换未压缩FASTQ、压缩以及归档。只计算最终fastq.gz的大小,会漏掉转换时的峰值。最容易执行的办法,是先顺序跑通一个accession,再按真实峰值安排下一批。

给每个accession建立独立路径

清单至少保存accession、数据来源、文库类型、预期读段结构和处理状态。缓存保留下载文件,临时区只服务本次转换,输出区存放待验收FASTQ。它们可以位于不同盘,但应记录实际挂载关系;同盘时仍要合并预算。

下面示例需要已安装SRA Toolkit和gzip,并预先设置有写权限的根目录。ACC填写核对过的SRR、ERR或DRR编号;线程数由当前获配CPU决定,不用主机总核心数代替。新临时和输出目录若已存在就停止,避免混入旧文件。

set -eu
: "${ACC:?填写accession}"
: "${CACHE_ROOT:?填写下载根目录}"
: "${WORK_ROOT:?填写工作盘根目录}"
: "${OUT_ROOT:?填写输出根目录}"
: "${THREADS:?填写已获配线程数}"
case "$ACC" in SRR*|ERR*|DRR*) accession_number=${ACC#???} ;; *) exit 2;; esac
case "$accession_number" in *[!0-9]*|"") exit 2;; esac
case "$THREADS" in *[!0-9]*|"") exit 2;; esac
test "$THREADS" -gt 0
mkdir -p "$CACHE_ROOT" "$WORK_ROOT" "$OUT_ROOT"
scratch="$WORK_ROOT/$ACC"
out="$OUT_ROOT/$ACC"
mkdir "$scratch"
mkdir "$out"
prefetch "$ACC" -O "$CACHE_ROOT/$ACC" > "$out/prefetch.log" 2>&1
vdb-validate "$CACHE_ROOT/$ACC" > "$out/validate.log" 2>&1
fasterq-dump "$CACHE_ROOT/$ACC" -e "$THREADS" -t "$scratch" \
  -O "$out" --size-check only > "$out/size-check.log" 2>&1
fasterq-dump "$CACHE_ROOT/$ACC" -e "$THREADS" -t "$scratch" \
  -O "$out" -p > "$out/conversion.log" 2>&1
printf 'conversion_exit=0\n' > "$out/conversion.done"

prefetch的输出路径末级保留accession名称,转换时传入该目录,不随意改名搬散内部文件。若下载因默认大小上限停止,应先查看工具帮助和数据大小,再设置合理上限;这不等于转换所需空间。失败时脚本停止,应从对应日志判断,而不是看done文件之外的零散输出。

阶段 保留内容 进入下一阶段的条件
下载与验证 accession目录和日志 下载完成、vdb-validate通过
FASTQ转换 输出文件、转换日志 退出正常,读段结构与数量核对
压缩与归档 压缩文件、校验值 压缩测试通过,归档能读取
回收工作空间 清理记录、必要源文件 无活动进程,保留策略已满足

压缩成功以后再回收原FASTQ

先按元数据核对预期文件:双端、单端及额外读段的情况不能统一按“两份文件”判断。检查FASTQ记录结构、序列与质量长度以及日志中的写出计数;压缩测试只检查压缩流,不会证明样本标签正确,也不能代替这些核对。

set -eu
set -C  # noclobber protects existing output even if a name appears after the test
# 替换为已经验收的一份FASTQ;不覆盖已有压缩结果
FASTQ=/absolute/path/to/validated.fastq
test -r "$FASTQ"
test ! -e "$FASTQ.gz"
gzip -c "$FASTQ" > "$FASTQ.gz"
gzip -t "$FASTQ.gz"
sha256sum "$FASTQ.gz" > "$FASTQ.gz.sha256"

这里用gzip -c保留未压缩文件,因此压缩期间两份同时占盘。压缩失败会留下不完整的新文件,应先记录失败、确认进程退出,再处置该明确文件;不要把它与已验证结果一起归档。只有gzip测试与归档复读通过后,才按清单回收原FASTQ。

清理按任务清单进行

成功转换通常会清除工具生成的临时文件,但仍应查看本次独立临时目录。确认空目录后可使用rmdir,它会拒绝删除非空目录。保留SRA还是只保留可验证FASTQ,应由重新下载成本和项目留存要求决定,不能批量删除其他课题组的缓存。

批量扩展时,先按accession逐个转换,再从实测增加并发;活跃转换、待压缩文件与归档积压必须一起预算。记录每批峰值、完成数量和失败项,下一批才有依据调整工作盘或运行窗口。

清单状态可依次记为下载完成、验证通过、转换通过、FASTQ验收、归档通过、允许清理。失败项保留失败步骤与日志位置,不直接标记完成;下一批只接收有可用空间和明确状态的任务,避免未压缩数据在盘上持续积压。

需要额外算力时

适用前提:已估算临时空间且本地容量确实不足。如需额外资源,可评估服务器租赁及按需工作盘或存储。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗