云生信学生物信息学

区分SRA缓存、临时目录和最终FASTQ占用

作者:发布于 2026-11-16更新于 2026-11-15约 5 分钟阅读
FASTQ转换写满了哪块盘

FASTQ转换写满了哪块盘:定位三个目录;核对文件系统与配额;运行空间预检;新目录重跑验收
本文操作与检查路径示意。

fasterq-dump报磁盘不足时,先找出写满的是哪个目录。SRA输入可能保存在下载缓存,转换会产生临时文件,最后的FASTQ又写到输出目录。三个路径即使名字不同,也可能落在同一块盘上,不能把每个目录看到的剩余空间相加。

把路径映射到真实文件系统

记录失败命令、版本、accession和报错时间,保留包含路径的错误行。下面变量应指向已有的本次SRA目录、计划临时目录和输出目录;先替换为自己的绝对路径。示例只查询并预检,不删除文件,也不关闭空间检查。

set -u
: "${SRA_RUN_DIR:?填写已下载的accession目录}"
: "${SCRATCH_DIR:?填写已有临时目录}"
: "${FASTQ_DIR:?填写已有输出目录}"
test -d "$SRA_RUN_DIR" && test -d "$SCRATCH_DIR" && test -d "$FASTQ_DIR" || exit 2
fasterq-dump --version
df -h "$SRA_RUN_DIR" "$SCRATCH_DIR" "$FASTQ_DIR"
df -i "$SRA_RUN_DIR" "$SCRATCH_DIR" "$FASTQ_DIR"
du -sh "$SRA_RUN_DIR" "$SCRATCH_DIR" "$FASTQ_DIR"
fasterq-dump "$SRA_RUN_DIR" -t "$SCRATCH_DIR" -O "$FASTQ_DIR" --size-check only

df查看所在文件系统,du查看指定目录的现有占用;两者含义不同。若临时目录和输出目录的Filesystem相同,就要同时容纳两部分峰值。还要确认任务是否真的使用了这些路径,不能只检查登录后默认的当前目录。

观察 优先核对 对应处理
临时路径空间不足 -t实际指向、工作盘峰值 换有额度的工作盘或减少并发
输出盘空间不足 -O、未压缩FASTQ体积 预留完整输出及压缩时的重叠空间
df有空间却无法写入 用户配额、inode、权限、文件大小限制 按具体错误处理
预检通过但中途写满 同盘其他任务和真实可用配额 记录变化,重算本批总峰值

用预检替代固定倍数猜测

当前官方文档支持--size-check only,但应先核对安装版本帮助。它估算本次转换需要的空间,不执行正式转换;正式运行应保留相同的拆分方式、输入和目录配置。预检通过不是预占磁盘,其他任务仍可能在随后消耗空间。

SRA体积与FASTQ体积之间没有适合所有数据的固定换算比例。读长、读段组成、压缩和内部格式都会影响膨胀。先以工具预检和代表accession的实测为依据,再加上同盘已有文件和同时活动任务,而不是照搬某篇文章中的“几倍空间”。

如果存在配额而工具未正确识别,官方提供--disk-limit和--disk-limit-tmp描述实际可用上限。这些参数不会增加磁盘,也不能代替管理员确认配额。不要为了跳过报错把值写成虚构大数或直接关闭预检。

处理残留前先确认任务状态

磁盘满后,临时目录与FASTQ可能只写了一部分。先确认对应进程已经退出,再记录目录、时间、日志及文件大小;不应在多个转换仍运行时清空共享临时目录。fasterq-dump不会因为某个FASTQ文件存在就证明它完整,强制覆盖也不能修复原来的容量缺口。

调整路径后使用新的独立输出目录重跑,核对退出码、reads written以及预期的单端或双端文件。只有转换结束、FASTQ结构与样本身份核对后,才进入压缩和归档。若仍失败,应比较新错误位置,区分输入下载问题、配额问题和真实容量不足。

临时目录也不要随意放到内存盘。内存盘受系统内存和平台限制,可能把磁盘空间问题变成内存压力。完成这份路径与峰值记录后,再决定重新安排任务批次还是增加工作盘容量。

需要额外算力时

适用前提:已估算临时空间且本地容量确实不足。如需额外资源,可评估服务器租赁及按需工作盘或存储。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗