
生信服务器硬盘满时,先确认满的是哪个文件系统、哪项额度,再判断目录里的文件能否处理。名字含tmp不代表没有用,BAM与中间缓存也可能是恢复所必需。先做只读盘点并暂停新增大任务,避免边清理边产生更多不完整结果。
先区分空间、inode与配额
PROJECT填写自己的实际项目目录,以下适用于GNU工具的Linux环境。先解析软链接目标,再看所在文件系统,不能把链接本身占用当成整个数据库。du可能需要扫描大量目录,只看权限允许的项目范围,不把访问失败当成零占用。
set -eu
: "${PROJECT:?填写项目目录绝对路径}"
resolved=$(readlink -f -- "$PROJECT")
test -d "$resolved" && test "$resolved" != / || exit 2
printf '%s\n' "$resolved"
df -h -- "$resolved"
df -i -- "$resolved"
du -x -h --max-depth=1 -- "$resolved"
df显示文件系统情况,不等于本人还可写的配额;账号或项目配额按平台另查。inode满常由大量小文件造成,单看剩余GB会漏掉。du的-x限制在一个文件系统,若子目录挂载了另一块盘,应单独记录,不能认为已经全部盘点。
| 类别 | 典型内容 | 处理前确认 |
|---|---|---|
| 输入与参考 | FASTQ、POD5、组装、数据库版本 | 有可读副本、校验值及复现需要 |
| 流程缓存 | Nextflow work、已校正reads、索引 | 是否仍用于resume或下游 |
| 运行临时文件 | sort块、解压和搜索工作区 | 对应任务确已结束,工具允许处理 |
| 交付结果 | 矩阵、VCF、结构、报告及日志 | 已验收、接收端可复读 |
| 失败产物 | 未完成BAM、部分下载 | 保留定位证据并明确重试方式 |
解释“删过文件但空间没回来”
文件已被删除但仍由进程打开时,目录里看不到它,文件系统空间却可能尚未释放。若已安装lsof,可用下例查看本人打开且链接数小于一的文件;没有匹配项时命令可能返回非零,这只是诊断,不是自动终止任务的脚本。
lsof -a -u "$(id -un)" +L1
确认是哪一个本人任务持有,再按工具和平台方式结束或关闭相应文件,不全局杀进程。其他用户、系统快照、回收站或权限不可见内容也可能造成df与du差异,需要维护者结合实际存储解释,不能直接把差值判成无用垃圾。
按生命周期确定候选处理清单
为大目录登记所属任务、负责人、最后用途、是否仍运行、是否可重建及已有归档位置。修改时间很旧也可能是稳定参考或旧项目唯一结果,不能仅按天数批量删除。缓存过早清空,可能让恢复变成重新计算整个批次。
原始数据、必要结果与可重建中间件分别制定保留条件。处理前核对明确绝对路径、文件用途和归档校验;操作后重新观察相同挂载点的容量与inode。这里只提供盘点步骤,不给跨项目的自动清空命令。
从根源减少下一次写满
每任务使用独立临时目录,运行前确认输入、展开文件、sort块与最终结果是否同时存在。结束du是保留量,不是运行峰值;对代表任务记录工作盘高水位,再限定合理并发。增加CPU线程可能同时增加临时块与输出速度,不能只按RAM安排。
最后保存盘点时间、路径、处理依据和仍需保留的材料。合理归档后仍不足时,再按明确峰值与留存需求补工作盘或存储;扩容本身不会建立备份,也不会替代对重要结果的归档验收。
需要额外算力时
适用前提:合理清理后仍有容量需求,扩容与保存另行确认。如需额外资源,可评估服务器租赁及按需工作盘或存储。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
