
课题组公共数据库复用,先把发布版本与正在更新的目录分开。成员应读取同一明确版本,维护者在新目录下载、建索引和验收;不能边跑分析边覆盖原文件。本篇以一份已获准使用的FASTA及faidx为小实例,建立只读版本、内容清单和更新记录。
先给维护者和读者不同权限
管理员先准备staging、versions和manifests三类目录:维护者可发布,普通成员只能进入和读取已发布版本,不能在versions里删除目录。本文只操作一个全新的版本名,不递归改变旧数据库。外部数据库的许可、物种、来源和索引兼容性由项目核对,目录名不能代替这些说明。
| 区域 | 谁可写 | 任务入口 |
|---|---|---|
| staging/版本名 | 指定维护者 | 下载、构建、验收中,成员不直接引用 |
| versions/版本名 | 维护者按发布制度管理 | 成员按完整固定版本路径读取 |
| manifests/版本名.sha256 | 维护者 | 对应内容指纹,保留发布记录 |
| current等别名 | 维护者 | 仅便于查找,正式任务记录解析后路径 |
| 成员工作区 | 各成员 | 结果、缓存与需要写出的临时文件 |
在新目录构建并生成相对清单
需要GNU工具、samtools和对目标目录的既定权限。FASTA是已核验的未压缩核酸文件,SOURCE_NOTE为填好来源、组装、版本、日期及构建工具的说明文本。DB_ROOT是管理员提供的专用目录;版本名与清单必须未使用,失败现场保留。
set -euo pipefail
: "${DB_ROOT:?专用数据库根目录绝对路径}"
: "${FASTA:?已核验FASTA绝对路径}"
: "${SOURCE_NOTE:?已填写的来源和版本说明文本}"
test -s "$FASTA"; test -s "$SOURCE_NOTE"
release=reference-demo-v1
stage="$DB_ROOT/staging/$release"
final="$DB_ROOT/versions/$release"
manifest="$DB_ROOT/manifests/$release.sha256"
test ! -e "$stage"; test ! -e "$final"; test ! -e "$manifest"
mkdir "$stage"
cp -- "$FASTA" "$stage/genome.fa"
cp -- "$SOURCE_NOTE" "$stage/SOURCE.txt"
awk '/^>/ {id=substr($1,2); n++; if(id=="" || seen[id]++) bad=1}
END {exit bad || n==0}' "$stage/genome.fa"
samtools faidx "$stage/genome.fa"
test -s "$stage/genome.fa.fai"
samtools --version > "$stage/build-tools.txt"
set -C
(cd "$stage"; find . -type f -print0 | sort -z | xargs -0 -r sha256sum) \
> "$manifest"
test -s "$manifest"
(cd "$stage"; sha256sum -c "$manifest")
清单放在版本目录之外,避免计算清单时把它自身包含进去。相对路径便于迁移后在新版本根目录校验;软链接及外部依赖要另记并检查,本例只使用实际复制的文件。awk只查序列头,不替代FASTA完整性和生物学来源检查,faidx存在也不证明参考正确。
验收后再发布为成员只读
让维护者检查序列名称、长度、参考来源和索引读取,必要时用获准代表输入测对应工具。本例只建立faidx,不能把它宣称为BWA、STAR或其他数据库索引。确认项目读者组lab_readers已经存在、维护者有资格设置该组,再对这个新stage执行下面操作。
set -euo pipefail
: "${DB_ROOT:?同一个专用数据库根目录绝对路径}"
release=reference-demo-v1
stage="$DB_ROOT/staging/$release"
final="$DB_ROOT/versions/$release"
test -d "$stage"; test ! -e "$final"
chgrp -R lab_readers "$stage"
chmod -R u=rwX,g=rX,o= "$stage"
mv -- "$stage" "$final"
getfacl "$final"
(cd "$final"; sha256sum -c "$DB_ROOT/manifests/$release.sha256")
读者验证与后续更新
成员用自己的账号查询固定版本,确认可读且不能修改;测试写权限使用专用测试副本,不在正式库里创建文件。还要核对父目录和ACL,不能只看末级文件模式。管理员仍具有维护权限,普通只读并不等于不可篡改或备份已经完成。
新库更新使用新版本目录,先验收再通知项目切换;旧任务继续引用旧版。登记来源、工具、校验、发布日期、受影响项目和保留期限。旧版本是否可清理由项目依赖与保存政策决定,不因为current已经指向新版就直接删除。
发布前请读者从固定版本的FAI核对一条已知contig与长度,并用samtools faidx提取预先约定的短区域到自己的工作目录,与预期序列比较。这样能同时验证索引读取和目录权限;只执行ls或看到genome.fa存在,并不能证明分析工具真正可用。
参考资料
需要额外算力时
适用前提:多人重复使用大型参考库且需要统一维护。如需额外资源,可评估课题组多用户计算环境。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
