云生信学生物信息学

把已跑通流程改成多样本服务器批处理任务

作者:发布于 2026-11-16更新于 2026-11-15约 9 分钟阅读
把已跑通流程改成多样本服务器批处理任务

把已跑通流程改成多样本服务器批处理任务:约定脚本参数接口;用清单启动独立目录;保存退出码与日志;实测后增加样本并发
本文操作与检查路径示意。

单样本跑通后,批处理的关键是让同一套规则稳定作用到所有样本。手工复制几十条命令容易错配R1/R2、覆盖报告或混入不同参数。本文把已经验证的双端bulk RNA-seq流程封装,再用清单驱动运行;研究设计和链特异性在启动前确认。

先约定脚本的输入和输出

把前篇从fastp、STAR到featureCounts的命令保存为run_sample.sh,并将输入改为下列接口。索引和GTF用已验证的绝对路径,所有输出写到out。每个样本一个新目录,fastp报告、STAR前缀和计数文件都放在该目录。不能只更改FASTQ路径,却让报告仍写到公共文件名。

#!/usr/bin/env bash
set -euo pipefail
[ "$#" -eq 5 ] || exit 2
r1=$1; r2=$2; out=$3; threads=$4; strand=$5
[[ "$threads" =~ ^[1-9][0-9]*$ ]] || exit 2
[[ "$strand" =~ ^[012]$ ]] || exit 2
index=/refs/star_index
gtf=/refs/genes.gtf
mkdir "$out"
gzip -t "$r1" "$r2"
fastp -i "$r1" -I "$r2" -o "$out/clean_R1.fq.gz"   -O "$out/clean_R2.fq.gz" --thread "$threads"   --html "$out/fastp.html" --json "$out/fastp.json"
STAR --runThreadN "$threads" --genomeDir "$index"   --readFilesIn "$out/clean_R1.fq.gz" "$out/clean_R2.fq.gz"   --readFilesCommand zcat --outSAMtype BAM Unsorted   --outFileNamePrefix "$out/"
samtools quickcheck -v "$out/Aligned.out.bam"
featureCounts -T "$threads" -p --countReadPairs -s "$strand"   -t exon -g gene_id -a "$gtf" -o "$out/counts.txt" "$out/Aligned.out.bam"
test -s "$out/counts.txt"
test -s "$out/counts.txt.summary"

保存脚本前,将索引和GTF替换为项目真实路径;所示命令适用于已确认的双端普通文库。先用原来那一个样本验证:结果范围相同、错误能返回非零状态、换目录后没有引用旧结果。版本、参考、过滤和计数参数保持一致,变更时建立新的批次号。

用样本表顺序启动

准备samples.csv,列sample_id,r1,r2,strand。样本ID只含字母数字、下划线和短横线,路径绝对化。下例调用已经完成改造的脚本,每份日志和退出码独立保存;默认顺序运行,先得到正确基线,不会自动按照机器全部核心启动。

import csv, re, subprocess
from pathlib import Path
rows = list(csv.DictReader(open("samples.csv", encoding="utf-8-sig", newline="")))
ids = [r["sample_id"] for r in rows]
assert rows and len(ids) == len(set(ids))
assert all(re.fullmatch(r"[A-Za-z0-9_-]+", s) for s in ids)
assert all(r["strand"] in ("0","1","2") for r in rows)
assert all(Path(r[k]).is_absolute() and Path(r[k]).is_file()
           for r in rows for k in ("r1","r2"))
batch = Path("rnaseq-batch-001"); batch.mkdir(exist_ok=False)
runner = str(Path("run_sample.sh").resolve())
with (batch/"exit-codes.csv").open("w", newline="") as f:
    w = csv.writer(f); w.writerow(["sample_id", "exit_code"])
    for r in rows:
        out = batch/r["sample_id"]
        with (batch/(r["sample_id"]+".log")).open("w") as log:
            result = subprocess.run(["bash", runner, r["r1"], r["r2"],
                str(out), "4", r["strand"]], stdout=log, stderr=subprocess.STDOUT)
        w.writerow([r["sample_id"], result.returncode]); f.flush()
        if result.returncode: raise SystemExit("失败样本:"+r["sample_id"])
批次检查 保留材料 发现异常后
启动前 样本表、脚本校验值、版本、参考 修清单后再运行
每个样本结束 退出码、fastp/STAR/counts报告 停止并查该样本完整日志
准备增加并发 单任务峰值和重叠试跑 按CPU、RAM、盘共同限制
正式汇总 样本ID与基因ID映射 缺样或重复列不能直接合并

从顺序流程增加并发

只在单样本和日志规则验收后增加调度层。单任务threads与外层样本数要一起核算;如果两个STAR同时载入私有索引,RAM可能明显增加。先试两个有代表性的样本重叠,测整批吞吐和总峰值,确认共享存储没有成为瓶颈,再按实测扩大。

不要在同一目录启动多个STAR,临时文件、前缀和报告都可能冲突。数据多时将样本按规模分组,避免仅凭样本数量平均分配。可用工作盘包括干净FASTQ、BAM、中间文件和最终计数,不能只按最后的文本表预算。

启动前把脚本本身和样本表复制到批次记录,并保存校验值。运行期间不要原地编辑正在使用的脚本;如果确需修改过滤、参考或计数规则,用新版本和新批次,明确哪些样本需要重算,防止同一矩阵混入两套处理条件。

失败恢复需要清楚的边界

脚本停在某样本后,先检查已完成样本的报告与输出,不以目录存在当作通过。对于失败样本,用新目录重跑,保留旧日志。若想复用某阶段,必须确认输入、参考、版本、参数及该阶段文件均匹配;不要直接注释掉报错命令继续。

完成后核对实际样本集合与清单相等,按基因ID构建计数矩阵,并保留链特异与建库信息。资源不足时根据必要工作集调整并发或规格;软件和输入错误先修流程。租用计算环境本身不自动包含样本设计和下游统计分析交付。

参考资料

需要额外算力时

适用前提:有原始数据且希望自行分析,资源或环境不足。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

先确定合适的计算资源

根据数据规模和分析任务,快速测算 CPU、内存、存储与 GPU 配置。

测算服务器配置仍有疑问,联系客服 ↗