云生信学生物信息学

区分输入、缓存、临时文件和必须保留结果

作者:发布于 2026-11-19更新于 2026-11-15约 4 分钟阅读
硬盘满,先盘点再处理

硬盘满,先盘点再处理:确认挂载与额度;区分文件生命周期;检查仍在运行任务;验收归档后处理
本文操作与检查路径示意。

生信服务器硬盘满时,先确认满的是哪个文件系统、哪项额度,再判断目录里的文件能否处理。名字含tmp不代表没有用,BAM与中间缓存也可能是恢复所必需。先做只读盘点并暂停新增大任务,避免边清理边产生更多不完整结果。

先区分空间、inode与配额

PROJECT填写自己的实际项目目录,以下适用于GNU工具的Linux环境。先解析软链接目标,再看所在文件系统,不能把链接本身占用当成整个数据库。du可能需要扫描大量目录,只看权限允许的项目范围,不把访问失败当成零占用。

set -eu
: "${PROJECT:?填写项目目录绝对路径}"
resolved=$(readlink -f -- "$PROJECT")
test -d "$resolved" && test "$resolved" != / || exit 2
printf '%s\n' "$resolved"
df -h -- "$resolved"
df -i -- "$resolved"
du -x -h --max-depth=1 -- "$resolved"

df显示文件系统情况,不等于本人还可写的配额;账号或项目配额按平台另查。inode满常由大量小文件造成,单看剩余GB会漏掉。du的-x限制在一个文件系统,若子目录挂载了另一块盘,应单独记录,不能认为已经全部盘点。

类别 典型内容 处理前确认
输入与参考 FASTQ、POD5、组装、数据库版本 有可读副本、校验值及复现需要
流程缓存 Nextflow work、已校正reads、索引 是否仍用于resume或下游
运行临时文件 sort块、解压和搜索工作区 对应任务确已结束,工具允许处理
交付结果 矩阵、VCF、结构、报告及日志 已验收、接收端可复读
失败产物 未完成BAM、部分下载 保留定位证据并明确重试方式

解释“删过文件但空间没回来”

文件已被删除但仍由进程打开时,目录里看不到它,文件系统空间却可能尚未释放。若已安装lsof,可用下例查看本人打开且链接数小于一的文件;没有匹配项时命令可能返回非零,这只是诊断,不是自动终止任务的脚本。

lsof -a -u "$(id -un)" +L1

确认是哪一个本人任务持有,再按工具和平台方式结束或关闭相应文件,不全局杀进程。其他用户、系统快照、回收站或权限不可见内容也可能造成df与du差异,需要维护者结合实际存储解释,不能直接把差值判成无用垃圾。

按生命周期确定候选处理清单

为大目录登记所属任务、负责人、最后用途、是否仍运行、是否可重建及已有归档位置。修改时间很旧也可能是稳定参考或旧项目唯一结果,不能仅按天数批量删除。缓存过早清空,可能让恢复变成重新计算整个批次。

原始数据、必要结果与可重建中间件分别制定保留条件。处理前核对明确绝对路径、文件用途和归档校验;操作后重新观察相同挂载点的容量与inode。这里只提供盘点步骤,不给跨项目的自动清空命令。

从根源减少下一次写满

每任务使用独立临时目录,运行前确认输入、展开文件、sort块与最终结果是否同时存在。结束du是保留量,不是运行峰值;对代表任务记录工作盘高水位,再限定合理并发。增加CPU线程可能同时增加临时块与输出速度,不能只按RAM安排。

最后保存盘点时间、路径、处理依据和仍需保留的材料。合理归档后仍不足时,再按明确峰值与留存需求补工作盘或存储;扩容本身不会建立备份,也不会替代对重要结果的归档验收。

需要额外算力时

适用前提:合理清理后仍有容量需求,扩容与保存另行确认。如需额外资源,可评估服务器租赁及按需工作盘或存储。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗