云生信学生物信息学

REDItools分区间运行教程:从输入核对到CPU与读写基准

作者:发布于 2026-11-20更新于 2026-11-15约 8 分钟阅读
REDItools按完整区域验收

REDItools按完整区域验收:固定环境与过滤;按contig运行;检查表头与重复;比较总完成时间
本文操作与检查路径示意。

REDItools扫描大BAM时,可以先按互不重叠的区域测量,再判断增加CPU是否有用。多个任务同时读取同一BAM,也可能首先耗尽共享盘吞吐。本文针对官方REDItools2仓库的串行reditools.py,用完整contig拆分,避开相邻坐标窗口边界不清造成的重复位点。

先冻结环境和过滤规则

该仓库说明的测试环境包含Python 2.7,不能假定脚本在当前Python 3直接兼容。先用获准数据验证隔离环境,记录代码提交、解释器和pysam版本;不要替换为另一个同名REDItools实现后混用参数。输入为可随机访问的坐标排序BAM及匹配索引、同组装FASTA与索引。链规则和质量过滤按研究方案确定,本文不提供通用RNA编辑阈值。

阶段 记录内容 通过条件
输入 BAM头、FAI、索引与参考来源 contig存在且坐标体系一致
分区 完整contig列表及顺序 每条只运行一次
运行 相同参数、退出状态、资源 输出有完整表头
合并 相同列数、contig、位置唯一性 重复或缺片时停止

从两条完整contig顺序运行开始

以下chr1、chr2是示例,必须替换为BAM与FAI中确实存在的目标名称。设置REDIT_PYTHON与REDIT_SCRIPT为已验收解释器和脚本的绝对路径,BAM、FASTA路径也按实际修改。先顺序执行,确认方法后才能比较并发;每次使用新目录,不加追加输出选项。

set -euo pipefail
: "${REDIT_PYTHON:?填写已验证解释器绝对路径}"
: "${REDIT_SCRIPT:?填写reditools.py绝对路径}"
bam=/data/RNA.bam
ref=/ref/genome.fa
samtools quickcheck -v "$bam"
test -s "$ref.fai"
mkdir redi-pilot
for chr in chr1 chr2; do
  samtools idxstats "$bam" | awk -v c="$chr" '$1==c{ok=1} END{exit !ok}'
  awk -v c="$chr" '$1==c{ok=1} END{exit !ok}' "$ref.fai"
  /usr/bin/time -v -o "redi-pilot/$chr.time" \
    "$REDIT_PYTHON" "$REDIT_SCRIPT" -f "$bam" -r "$ref" \
    -g "$chr" -o "redi-pilot/$chr.tsv" \
    > "redi-pilot/$chr.log" 2>&1
done

合并时拒绝重复和混入其他区域

运行成功后,在包含redi-pilot的目录执行下段Python 3代码。它检查官方十四列表头和位置顺序,输出文件只允许首次创建。零个合格位点可以只含表头,但仍需回查该区域确有输入覆盖及过滤统计;不能把空表直接解释成没有RNA编辑。

from pathlib import Path
import os
tmp = Path("redi-pilot/merged.tsv.partial")
final = Path("redi-pilot/merged.tsv")
header, total = None, 0
with tmp.open("x") as out:
    for chrom in ("chr1", "chr2"):
        with Path(f"redi-pilot/{chrom}.tsv").open() as f:
            h = f.readline().rstrip("\n").split("\t")
            if len(h) != 14 or h[:2] != ["Region", "Position"]:
                raise ValueError("输出表头不完整")
            if header is not None and h != header:
                raise ValueError("分片列不一致")
            if header is None:
                out.write("\t".join(h) + "\n")
            header, prev = h, 0
            for line in f:
                c = line.rstrip("\n").split("\t")
                if len(c) != 14 or c[0] != chrom:
                    raise ValueError("区域或列数错误")
                pos = int(c[1])
                if pos <= prev:
                    raise ValueError("位置重复或无序")
                prev = pos
                out.write(line.rstrip("\n") + "\n")
                total += 1
os.link(tmp, final)  # 同一Linux文件系统,目标存在时拒绝覆盖
tmp.unlink()
print("合并位点数", total)

合并器逐行写入partial文件,全部通过才用同一文件系统的硬链接发布最终文件,目标已存在时拒绝覆盖。Linux文件系统须支持硬链接;失败遗留partial供排查,重跑用新输出名。合并时保持分片只读,不同时让上游追加文件。扩到全部contig时,同步修改运行与合并列表,并按参考顺序登记,避免只合并成功的一部分。

比较吞吐,而不是只看CPU占用

保存每片time文件,配合iostat等监控记录设备读取和等待。以相同区域比较顺序与两个并发任务的总完成时间、RSS总量及I/O;并发数和区域只是测试条件,不是保证加速。若磁盘已饱和,继续增加进程可能拖慢整个队列。

试跑登记还应填区域长度、实际覆盖和输出行数。两条contig长度相近也可能有不同的转录覆盖,不能按平均染色体长度均分耗时;可用覆盖寻找较均衡的任务,但先保持区域清单无重复、无遗漏。

区域抓取失败先查索引和contig,零覆盖再查比对与过滤。需要更细窗口或MPI路线时,应另行核实边界及官方并行环境,不能直接拼接重叠结果。RNA与参考不同的候选还需排除DNA变异、错配与技术伪影,资源充足不等于编辑位点已经得到验证。

参考资料

需要额外算力时

适用前提:过滤及输入条件合理,区间试跑后确认需要额外并发能力。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗