
fasterq-dump报磁盘不足时,先找出写满的是哪个目录。SRA输入可能保存在下载缓存,转换会产生临时文件,最后的FASTQ又写到输出目录。三个路径即使名字不同,也可能落在同一块盘上,不能把每个目录看到的剩余空间相加。
把路径映射到真实文件系统
记录失败命令、版本、accession和报错时间,保留包含路径的错误行。下面变量应指向已有的本次SRA目录、计划临时目录和输出目录;先替换为自己的绝对路径。示例只查询并预检,不删除文件,也不关闭空间检查。
set -u
: "${SRA_RUN_DIR:?填写已下载的accession目录}"
: "${SCRATCH_DIR:?填写已有临时目录}"
: "${FASTQ_DIR:?填写已有输出目录}"
test -d "$SRA_RUN_DIR" && test -d "$SCRATCH_DIR" && test -d "$FASTQ_DIR" || exit 2
fasterq-dump --version
df -h "$SRA_RUN_DIR" "$SCRATCH_DIR" "$FASTQ_DIR"
df -i "$SRA_RUN_DIR" "$SCRATCH_DIR" "$FASTQ_DIR"
du -sh "$SRA_RUN_DIR" "$SCRATCH_DIR" "$FASTQ_DIR"
fasterq-dump "$SRA_RUN_DIR" -t "$SCRATCH_DIR" -O "$FASTQ_DIR" --size-check only
df查看所在文件系统,du查看指定目录的现有占用;两者含义不同。若临时目录和输出目录的Filesystem相同,就要同时容纳两部分峰值。还要确认任务是否真的使用了这些路径,不能只检查登录后默认的当前目录。
| 观察 | 优先核对 | 对应处理 |
|---|---|---|
| 临时路径空间不足 | -t实际指向、工作盘峰值 | 换有额度的工作盘或减少并发 |
| 输出盘空间不足 | -O、未压缩FASTQ体积 | 预留完整输出及压缩时的重叠空间 |
| df有空间却无法写入 | 用户配额、inode、权限、文件大小限制 | 按具体错误处理 |
| 预检通过但中途写满 | 同盘其他任务和真实可用配额 | 记录变化,重算本批总峰值 |
用预检替代固定倍数猜测
当前官方文档支持--size-check only,但应先核对安装版本帮助。它估算本次转换需要的空间,不执行正式转换;正式运行应保留相同的拆分方式、输入和目录配置。预检通过不是预占磁盘,其他任务仍可能在随后消耗空间。
SRA体积与FASTQ体积之间没有适合所有数据的固定换算比例。读长、读段组成、压缩和内部格式都会影响膨胀。先以工具预检和代表accession的实测为依据,再加上同盘已有文件和同时活动任务,而不是照搬某篇文章中的“几倍空间”。
如果存在配额而工具未正确识别,官方提供--disk-limit和--disk-limit-tmp描述实际可用上限。这些参数不会增加磁盘,也不能代替管理员确认配额。不要为了跳过报错把值写成虚构大数或直接关闭预检。
处理残留前先确认任务状态
磁盘满后,临时目录与FASTQ可能只写了一部分。先确认对应进程已经退出,再记录目录、时间、日志及文件大小;不应在多个转换仍运行时清空共享临时目录。fasterq-dump不会因为某个FASTQ文件存在就证明它完整,强制覆盖也不能修复原来的容量缺口。
调整路径后使用新的独立输出目录重跑,核对退出码、reads written以及预期的单端或双端文件。只有转换结束、FASTQ结构与样本身份核对后,才进入压缩和归档。若仍失败,应比较新错误位置,区分输入下载问题、配额问题和真实容量不足。
临时目录也不要随意放到内存盘。内存盘受系统内存和平台限制,可能把磁盘空间问题变成内存压力。完成这份路径与峰值记录后,再决定重新安排任务批次还是增加工作盘容量。
需要额外算力时
适用前提:已估算临时空间且本地容量确实不足。如需额外资源,可评估服务器租赁及按需工作盘或存储。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
