
几百GB测序数据上传服务器,先确认数据允许迁移、目标目录可用、链路稳定,再选择能重复执行的传输方式。传输窗口应包括文件校验,不是进度条到百分之百就立即删除本地数据。输入若仍在被测序程序写入,也不适合直接作为稳定交付批次。
先冻结文件清单
约定本批完成写入的FASTQ、BAM或POD5范围,确认样本和配对关系。记录总字节、文件数及目录结构,目标使用独立incoming目录,不和正在计算的结果混放。软链接需要核对实际目标,不能把只复制链接误当成数据也到了。
以下适用于两端已经安装兼容rsync3.x、SSH可用的Bash环境。Windows可使用已经配置的WSL等兼容环境,原生PowerShell不自带rsync;Mac系统自带版本可能较旧,应先检查选项支持。目标目录和账号权限由平台预先准备。
rsync --version
ssh -V
| 条件 | 选择 | 验收 |
|---|---|---|
| 可用SSH与rsync | 保留partial并重复同一传输 | 实际文件清单与校验通过 |
| 短时断网 | 重试原命令和同一目标 | 不新建多个混淆目录 |
| 工具或协议受限 | 使用平台批准的分段上传工具 | 明确重试及内容校验机制 |
| 数据仍在变化 | 先形成稳定交付副本 | 传前传后清单一致 |
在源端建立内容校验清单
SOURCE是已冻结的数据目录绝对路径,MANIFEST必须是该目录之外、尚不存在的绝对文件路径。下面限定普通文件,GNU工具支持零字符分隔,避免空格文件名被拆开;大数据全量哈希会读取整批内容,应预留时间和磁盘吞吐。
set -euo pipefail
: "${SOURCE:?填写冻结数据目录绝对路径}"
: "${MANIFEST:?填写源目录之外的新清单绝对路径}"
test -d "$SOURCE" && test ! -e "$MANIFEST" || exit 2
(cd "$SOURCE"; find . -type f -print0 | sort -z | xargs -0 -r sha256sum) \
> "$MANIFEST"
test -s "$MANIFEST"
上传并保留未完成部分
将USER、HOST和远端路径改为实际获准位置,先核对SSH主机指纹。SOURCE末尾的斜杠表示复制目录内容,远端incoming已准备好。本例不删除目标已有文件,也不在源目录中存放校验清单。
set -eu
: "${SOURCE:?填写同一冻结数据目录}"
: "${MANIFEST:?填写刚生成的校验清单}"
rsync -rt --partial --partial-dir=.rsync-partial --info=progress2 \
-e 'ssh -o StrictHostKeyChecking=yes' \
"$SOURCE"/ USER@HOST:/data/project/incoming/
rsync -t -e 'ssh -o StrictHostKeyChecking=yes' \
"$MANIFEST" USER@HOST:/data/project/incoming.sha256
断网后先确认没有另一个上传进程仍在工作,再运行相同命令。partial保留的内容可参与后续恢复,但不是可直接使用的完整输入。不要随意加append或inplace,把未校验旧文件当成正确前缀;也不要因文件时间与大小相同就认定内容相同。
首次可在相同rsync命令中加--dry-run预演,核对源目录斜杠、目标批次和将处理的文件范围。预演不传完整内容,也不验证真实传输与内容一致;确认范围后再去掉该选项运行,并保留这一批对应的源清单。
在目标端验收后再进入分析
在服务器执行下例,路径与上传约定保持一致。所有条目通过后,再核对文件数、样本与格式完整性。内容校验只说明两端字节一致,不判断测序质量、样本身份或分析适用性。
set -eu
cd /data/project/incoming
sha256sum -c ../incoming.sha256 > ../transfer-check.log 2>&1
有失败项就保留清单和日志,先查源数据是否变化、目标路径是否错位及传输是否完成,再重新同步并全量复核。若目标与源大小、修改时间相同,默认quick-check可能仍跳过错误内容;在确认源可信且冻结后,用--checksum对已核对的失败范围重同步,这会额外读取两端内容,随后重新跑SHA清单。清单验证不会自动发现目标额外旧文件,所以incoming应是本批独立位置,任务只读取已验收清单中的数据。原始副本留到计算及后续归档按计划验收完成。
需要额外算力时
适用前提:计算任务需要迁移且传输成本与授权可接受。如需额外资源,可评估服务器租赁及按需工作盘或存储。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
