云生信学生物信息学

用样本表与日志管理批量质控、比对和计数

作者:发布于 2026-11-16更新于 2026-11-15约 9 分钟阅读
用样本表与日志管理批量质控、比对和计数

用样本表与日志管理批量质控、比对和计数:固定唯一清单和目录;解析三类阶段报告;先处理缺失和异常行;按基因ID验收矩阵
本文操作与检查路径示意。

几十个RNA-seq样本的难点,常常不是某条命令,而是知道哪些样本真正完成、哪些报告异常、哪份输出对应哪个样本。本文从已跑通的双端bulk流程出发,用样本清单和结果目录建立一张批次核查表。它记录事实,不替所有实验设统一质量阈值。

让样本表成为唯一清单

准备samples.csv,列sample_id,r1,r2,condition,donor,strand。样本ID唯一、路径绝对、R1/R2不相同,保存测序交付校验值。跨lane合并要有明确规则,不能把同一样本的不同lane错当生物学重复。条件、供体和建库信息在汇总时继续保留。

约定批次目录rnaseq-batch-001,每个样本一个子目录,包含fastp.json、Log.final.out、Aligned.out.bam、counts.txt和counts.txt.summary。每次重跑使用新目录,运行日志与退出码由启动脚本保存。目录命名一致,汇总程序才不用猜哪些文件属于正式结果。

阶段 文件与字段 异常时先检查
输入 样本表、校验值与配对 缺样、重复路径、lane关系
质控 fastp summary的过滤后reads 接头、质量与过滤规则
比对 STAR唯一比对比例及各分类 参考、污染、建库与输入
计数 featureCounts Assigned和未分配分类 链特异、注释与染色体命名
最终验收 预期样本集合、基因ID、退出码 缺列、旧文件或半成品

先用脚本汇总原始指标

下面脚本使用Python标准库,按上述文件布局读取三个报告。reads字段是fastp报告的read数,不自动等同fragment数;STAR百分比保留其原始文本。缺文件或格式不符的样本写入error,不以零代替未知值,也不自动批准该样本。

import csv, json, re
from pathlib import Path
rows = list(csv.DictReader(open("samples.csv", encoding="utf-8-sig", newline="")))
ids = [r["sample_id"] for r in rows]
assert rows and len(ids) == len(set(ids))
assert all(re.fullmatch(r"[A-Za-z0-9_-]+", s) for s in ids)
assert all(r["r1"] != r["r2"] for r in rows)
assert all(Path(r[k]).is_absolute() and Path(r[k]).is_file()
           for r in rows for k in ("r1","r2"))
base = Path("rnaseq-batch-001")
with open("batch-qc.csv", "w", newline="", encoding="utf-8-sig") as f:
    w = csv.writer(f)
    w.writerow(["sample_id","reads_after","unique_mapping","assigned","error"])
    for sid in ids:
        try:
            d = base/sid
            q = json.loads((d/"fastp.json").read_text())
            star = {}
            for line in (d/"Log.final.out").read_text().splitlines():
                if "|" in line:
                    k, v = line.split("|", 1); star[k.strip()] = v.strip()
            with (d/"counts.txt.summary").open() as sf:
                summary = list(csv.reader(sf, delimiter="	"))
            assert len(summary[0]) == 2  # 本例每样本单BAM计数
            assigned = next(row[1] for row in summary[1:] if row[0] == "Assigned")
            assert (d/"counts.txt").is_file() and (d/"Aligned.out.bam").is_file()
            w.writerow([sid, q["summary"]["after_filtering"]["total_reads"],
                        star["Uniquely mapped reads %"], assigned, ""])
        except (OSError, ValueError, KeyError, IndexError, TypeError, AssertionError, StopIteration) as e:
            w.writerow([sid, "", "", "", type(e).__name__+":"+str(e)])

表格出来后怎样检查

先处理error行,再看异常变化。质控前后reads骤减时回看fastp详细报告;唯一比对比例偏离同类样本时查看所有比对分类与原始输入;Assigned低时读取未分配原因,检查GTF、染色体名和strand。不要只按一个百分比删样本,也不要修改阈值让所有行变绿。

脚本没有全面读取BAM,也没有核对每个基因计数值。还需结合保存的退出码运行samtools quickcheck,并在需要时深入检查BAM;quickcheck本身只查头部与结尾等快速完整性条件。若日志与文件矛盾,先查是否混入旧目录,而不以文件存在作为完成证明。

计数单位也要写进核查表:双端fastp报告的read总数可能与fragment数量不同,而本例featureCounts明确按read pair计数。不能直接把Assigned除以fastp的read数,称为统一的基因分配率;应使用同一报告中定义清楚的分子和分母。

异常复核保留原值与处理后的版本,不在汇总表里直接覆盖原始报告。缺失、零值与不适用是三种状态,分别记录,才能判断一个样本究竟没有表达、没有生成文件,还是该指标不适用于当前建库。

形成可追溯的批次验收

将核查表、原报告、样本表和运行版本一并保存,给每个异常写原因与处理决定。确认全体样本均有对应计数,按gene_id对齐后再构建矩阵,避免按行号拼接;重复样本列或缺失样本必须先处理。新增样本应形成新清单版本。

批次核查适合帮助安排重跑和资源,但不会自动完成差异统计。临时盘不足、某样本耗时异常、参考不匹配属于不同问题,分别处理后再估计服务器规格与剩余时间。

参考资料

需要额外算力时

适用前提:样本量和截止时间要求超出现有计算能力。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗