
把Jupyter Notebook从个人电脑迁到Linux服务器,复制.ipynb并不代表可以复现。笔记本可能依赖本机绝对路径、未记录的软件包、先前Kernel中未保存的变量或本地数据库。迁移时先保留原件,再在服务器重建环境、修正路径、从头执行并核对输出。
整理一个可迁移的项目包
将Notebook、脚本、配置、README和允许迁移的数据清单放在同一项目结构中。不要把个人账号令牌、密码、受限数据或大型数据库随手打包。记录电脑端Python和关键包版本、文件路径、输入输出、随机种子及执行顺序。检查Notebook中是否写有本机路径、桌面目录、临时盘地址或依赖手动预先运行的单元格;数据量太大时,记录其受控存储位置和授权传输方式,而非嵌入Notebook。
| 迁移对象 | 处理方式 | 核对点 |
|---|---|---|
| Notebook和脚本 | 复制到服务器项目目录并保留原始版本 | 相对路径、执行顺序、版本记录 |
| Python环境 | 在目标路径重新创建venv | 解释器版本、关键包及系统依赖 |
| 输入数据 | 按机构批准方式传输或挂载 | 文件清单、大小和校验值 |
| 输出结果 | 写到独立结果目录 | 日志、表格、图像和失败单元格 |
在目标目录重建环境
Python官方文档明确,虚拟环境不应移动或复制;在新服务器和新路径按环境清单重新创建。先选目标Python版本,再创建venv并安装项目依赖。requirements-snapshot.txt可以记录原环境包快照,但如果其中包含只适用于本机的二进制包或URL,安装前应检查并在目标系统验证。
cd ~/projects/my-analysis
python3 --version
python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -r requirements.txt
python -m pip check
python -c 'import sys; print(sys.executable)'
确认Jupyter启动的Kernel指向项目环境。若缺少关键包,先比较原环境与服务器清单,逐个补齐,不要直接全局安装或升级所有包,以免改变分析结果。
处理路径、数据和Notebook隐藏状态
把硬编码的个人目录改成项目相对路径或集中配置的输入/输出目录。上传后按清单核对文件数、大小及校验值。正式执行前,复制一份Notebook作为迁移验证版,在副本中重启Kernel并清空旧变量,按从上到下的顺序运行。这样能发现Notebook依赖此前手工运行留下变量的问题。执行前还要审核单元格代码,因为Notebook会运行其中的命令;不要对来源不明的Notebook直接批量执行。
先小规模验证,再执行全量任务
先用少量样本运行Notebook,查看每格耗时、内存峰值、临时文件和输出目录;尤其检查代码是否在内存中一次性读入全部数据。资源允许后再放大样本或拆分批次。可在项目环境下用nbconvert从命令行执行Notebook并另存输出副本:
source ~/projects/my-analysis/.venv/bin/activate
jupyter nbconvert --to notebook --execute analysis.ipynb \
--output analysis-server-checked.ipynb
nbconvert默认遇到单元格异常会中止,失败时根据错误单元格、环境和路径定位,不要用允许错误继续的选项掩盖失败。检查输出副本是否保存了新结果、日志中是否出现异常、主要表格和图像是否与预期一致;对关键数字用独立脚本或小样本复算。
记录迁移结果并安全交接
归档项目提交号或文件校验值、Python版本、依赖清单、Kernel名称、运行命令、数据版本、执行日志和输出位置。迁移验证通过后,再决定正式结果保留时间和临时文件清理时点。Notebook输出单元格可能包含病人或未公开研究数据,分享前按课题组数据政策检查、必要时清除敏感输出。迁移完成的标准是另一名授权用户按记录能重建环境、找到输入并得到可核对结果,而不是Notebook文件已经成功复制。
参考资料
下载练习材料
先核对包内SHA256清单,再在独立目录复现。
需要额外算力时
适用前提:需要稳定Python环境及持续计算资源。如需额外资源,可评估服务器租赁及按需环境部署。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
