
单样本跑通后,批处理的关键是让同一套规则稳定作用到所有样本。手工复制几十条命令容易错配R1/R2、覆盖报告或混入不同参数。本文把已经验证的双端bulk RNA-seq流程封装,再用清单驱动运行;研究设计和链特异性在启动前确认。
先约定脚本的输入和输出
把前篇从fastp、STAR到featureCounts的命令保存为run_sample.sh,并将输入改为下列接口。索引和GTF用已验证的绝对路径,所有输出写到out。每个样本一个新目录,fastp报告、STAR前缀和计数文件都放在该目录。不能只更改FASTQ路径,却让报告仍写到公共文件名。
#!/usr/bin/env bash
set -euo pipefail
[ "$#" -eq 5 ] || exit 2
r1=$1; r2=$2; out=$3; threads=$4; strand=$5
[[ "$threads" =~ ^[1-9][0-9]*$ ]] || exit 2
[[ "$strand" =~ ^[012]$ ]] || exit 2
index=/refs/star_index
gtf=/refs/genes.gtf
mkdir "$out"
gzip -t "$r1" "$r2"
fastp -i "$r1" -I "$r2" -o "$out/clean_R1.fq.gz" -O "$out/clean_R2.fq.gz" --thread "$threads" --html "$out/fastp.html" --json "$out/fastp.json"
STAR --runThreadN "$threads" --genomeDir "$index" --readFilesIn "$out/clean_R1.fq.gz" "$out/clean_R2.fq.gz" --readFilesCommand zcat --outSAMtype BAM Unsorted --outFileNamePrefix "$out/"
samtools quickcheck -v "$out/Aligned.out.bam"
featureCounts -T "$threads" -p --countReadPairs -s "$strand" -t exon -g gene_id -a "$gtf" -o "$out/counts.txt" "$out/Aligned.out.bam"
test -s "$out/counts.txt"
test -s "$out/counts.txt.summary"
保存脚本前,将索引和GTF替换为项目真实路径;所示命令适用于已确认的双端普通文库。先用原来那一个样本验证:结果范围相同、错误能返回非零状态、换目录后没有引用旧结果。版本、参考、过滤和计数参数保持一致,变更时建立新的批次号。
用样本表顺序启动
准备samples.csv,列sample_id,r1,r2,strand。样本ID只含字母数字、下划线和短横线,路径绝对化。下例调用已经完成改造的脚本,每份日志和退出码独立保存;默认顺序运行,先得到正确基线,不会自动按照机器全部核心启动。
import csv, re, subprocess
from pathlib import Path
rows = list(csv.DictReader(open("samples.csv", encoding="utf-8-sig", newline="")))
ids = [r["sample_id"] for r in rows]
assert rows and len(ids) == len(set(ids))
assert all(re.fullmatch(r"[A-Za-z0-9_-]+", s) for s in ids)
assert all(r["strand"] in ("0","1","2") for r in rows)
assert all(Path(r[k]).is_absolute() and Path(r[k]).is_file()
for r in rows for k in ("r1","r2"))
batch = Path("rnaseq-batch-001"); batch.mkdir(exist_ok=False)
runner = str(Path("run_sample.sh").resolve())
with (batch/"exit-codes.csv").open("w", newline="") as f:
w = csv.writer(f); w.writerow(["sample_id", "exit_code"])
for r in rows:
out = batch/r["sample_id"]
with (batch/(r["sample_id"]+".log")).open("w") as log:
result = subprocess.run(["bash", runner, r["r1"], r["r2"],
str(out), "4", r["strand"]], stdout=log, stderr=subprocess.STDOUT)
w.writerow([r["sample_id"], result.returncode]); f.flush()
if result.returncode: raise SystemExit("失败样本:"+r["sample_id"])
| 批次检查 | 保留材料 | 发现异常后 |
|---|---|---|
| 启动前 | 样本表、脚本校验值、版本、参考 | 修清单后再运行 |
| 每个样本结束 | 退出码、fastp/STAR/counts报告 | 停止并查该样本完整日志 |
| 准备增加并发 | 单任务峰值和重叠试跑 | 按CPU、RAM、盘共同限制 |
| 正式汇总 | 样本ID与基因ID映射 | 缺样或重复列不能直接合并 |
从顺序流程增加并发
只在单样本和日志规则验收后增加调度层。单任务threads与外层样本数要一起核算;如果两个STAR同时载入私有索引,RAM可能明显增加。先试两个有代表性的样本重叠,测整批吞吐和总峰值,确认共享存储没有成为瓶颈,再按实测扩大。
不要在同一目录启动多个STAR,临时文件、前缀和报告都可能冲突。数据多时将样本按规模分组,避免仅凭样本数量平均分配。可用工作盘包括干净FASTQ、BAM、中间文件和最终计数,不能只按最后的文本表预算。
启动前把脚本本身和样本表复制到批次记录,并保存校验值。运行期间不要原地编辑正在使用的脚本;如果确需修改过滤、参考或计数规则,用新版本和新批次,明确哪些样本需要重算,防止同一矩阵混入两套处理条件。
失败恢复需要清楚的边界
脚本停在某样本后,先检查已完成样本的报告与输出,不以目录存在当作通过。对于失败样本,用新目录重跑,保留旧日志。若想复用某阶段,必须确认输入、参考、版本、参数及该阶段文件均匹配;不要直接注释掉报错命令继续。
完成后核对实际样本集合与清单相等,按基因ID构建计数矩阵,并保留链特异与建库信息。资源不足时根据必要工作集调整并发或规格;软件和输入错误先修流程。租用计算环境本身不自动包含样本设计和下游统计分析交付。
参考资料
需要额外算力时
适用前提:有原始数据且希望自行分析,资源或环境不足。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
