
共享数据库容量要算更新时的共存量,也要看数据落在哪个文件系统。旧版保留、新版下载解压、建库临时文件和节点缓存可能同时存在;只看发布完成后目录多大,容易在升级中写满。本篇用可填写表与按盘汇总脚本,把共享复用和个人副本分别算清。
先盘点真实存储布局
列出库名称、版本、用途、所在盘、占用、访问权限和依赖项目。区分原始压缩包、解压数据、索引、构建中间文件及正式发布物。df看文件系统可用量,du观察目录占用;符号链接、硬链接、reflink、压缩和配额会影响解释,不能默认删一个逻辑副本就释放等量物理空间。
| 组成 | 本项目填写 | 何时共存 |
|---|---|---|
| 旧批准版本 | 版本____;盘____;占用____ | 仍有项目引用期间 |
| 新staging | 压缩包____;解压____;新索引____ | 下载、构建与验收 |
| 构建临时 | 高水位____;盘____ | 运行中,不只看最终du |
| 计算节点缓存 | 节点数____;每节点副本____ | 与共享正式库同时存在 |
| 余量/配额 | 实际可用____;约定余量____ | 按每块盘分别核对 |
先查指定目录和文件系统
下面只查询既定路径,不清理数据。GNU du的输出单位为字节,inode和账号配额另查对应平台;同一个数据库若跨多个挂载点,应拆开记录,不能把整机剩余空间当成每个目标盘都能使用。
set -euo pipefail
: "${DB_ROOT:?填写数据库根目录绝对路径}"
test -d "$DB_ROOT"
df -B1 "$DB_ROOT"
df -i "$DB_ROOT"
du -s -B1 "$DB_ROOT"
find "$DB_ROOT/versions" -mindepth 1 -maxdepth 1 -type d -print
按文件系统计算峰值预算
准备capacity.csv,字段为filesystem,component,gib,copies;每行组件在同盘下唯一,GiB按同一口径填写,copies是同时存在的份数。下例纯教学:共享盘旧版300、新版staging350、构建临时100及余量150,共900 GiB;节点本地另需350 GiB。stage同盘改名发布不会再复制一份,别重复加成两份新版。
filesystem,component,gib,copies
shared,old-release,300,1
shared,new-staging,350,1
shared,build-temporary,100,1
shared,reserve,150,1
node-local,read-cache,350,1
import csv, collections, math, sys
rows=list(csv.DictReader(open(sys.argv[1],encoding="utf-8-sig",newline="")))
if not rows: raise SystemExit("empty capacity table")
seen=set();totals=collections.defaultdict(float)
for r in rows:
key=(r["filesystem"],r["component"])
if not all(key) or key in seen: raise SystemExit("duplicate/empty component")
seen.add(key);gib=float(r["gib"]);copies=int(r["copies"])
if not math.isfinite(gib) or gib<=0 or copies<1:
raise SystemExit("invalid size or copies")
totals[key[0]]+=gib*copies
for fs,gib in sorted(totals.items()):
print(fs,"planned peak GiB",gib)
运行python3 capacity_budget.py capacity.csv,核对每块盘预算与真实可用量及配额。若复制到另一文件系统发布,源与目标会共存,另加对应行;多个节点各有缓存,按每节点盘分别核算。预算中的余量也要有口径,不能把教学150 GiB当作所有数据库通用值。
权限与I/O也要验收
共享发布版本由维护者写、分析账号只读,结果和可写缓存指向工作盘。一些工具首次访问会创建索引或缓存,须提前构建或指定可写位置;不要因为只读报错就给所有成员整库写权限。按实际工具验证,不推断所有数据库都支持只读原位运行。
用一任务和约定的小并发比较完整耗时、I/O等待与工作盘高水位,确认网络读取是否成为瓶颈。需要本地缓存时记录版本和校验,禁止把未同步完整的目录视为可用。共享复用节约重复容量,但不承诺多人读取没有性能竞争。
更新与清理要保留证据
每次更新登记哪些旧版仍被引用、谁批准迁移和何时完成结果验收。删除前确认必要来源、校验、构建参数与恢复材料,恢复到新位置验证一个获准小实例;不要在空间告急时先删原始库或仍运行任务的旧版。按实测更新窗口和并发读取需求决定存储方案,再核对下一次升级是否仍有空间。
参考资料
需要额外算力时
适用前提:多人重复使用大型参考库且需要统一维护。如需额外资源,可评估课题组多用户计算环境。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
