
REDItools扫描大BAM时,可以先按互不重叠的区域测量,再判断增加CPU是否有用。多个任务同时读取同一BAM,也可能首先耗尽共享盘吞吐。本文针对官方REDItools2仓库的串行reditools.py,用完整contig拆分,避开相邻坐标窗口边界不清造成的重复位点。
先冻结环境和过滤规则
该仓库说明的测试环境包含Python 2.7,不能假定脚本在当前Python 3直接兼容。先用获准数据验证隔离环境,记录代码提交、解释器和pysam版本;不要替换为另一个同名REDItools实现后混用参数。输入为可随机访问的坐标排序BAM及匹配索引、同组装FASTA与索引。链规则和质量过滤按研究方案确定,本文不提供通用RNA编辑阈值。
| 阶段 | 记录内容 | 通过条件 |
|---|---|---|
| 输入 | BAM头、FAI、索引与参考来源 | contig存在且坐标体系一致 |
| 分区 | 完整contig列表及顺序 | 每条只运行一次 |
| 运行 | 相同参数、退出状态、资源 | 输出有完整表头 |
| 合并 | 相同列数、contig、位置唯一性 | 重复或缺片时停止 |
从两条完整contig顺序运行开始
以下chr1、chr2是示例,必须替换为BAM与FAI中确实存在的目标名称。设置REDIT_PYTHON与REDIT_SCRIPT为已验收解释器和脚本的绝对路径,BAM、FASTA路径也按实际修改。先顺序执行,确认方法后才能比较并发;每次使用新目录,不加追加输出选项。
set -euo pipefail
: "${REDIT_PYTHON:?填写已验证解释器绝对路径}"
: "${REDIT_SCRIPT:?填写reditools.py绝对路径}"
bam=/data/RNA.bam
ref=/ref/genome.fa
samtools quickcheck -v "$bam"
test -s "$ref.fai"
mkdir redi-pilot
for chr in chr1 chr2; do
samtools idxstats "$bam" | awk -v c="$chr" '$1==c{ok=1} END{exit !ok}'
awk -v c="$chr" '$1==c{ok=1} END{exit !ok}' "$ref.fai"
/usr/bin/time -v -o "redi-pilot/$chr.time" \
"$REDIT_PYTHON" "$REDIT_SCRIPT" -f "$bam" -r "$ref" \
-g "$chr" -o "redi-pilot/$chr.tsv" \
> "redi-pilot/$chr.log" 2>&1
done
合并时拒绝重复和混入其他区域
运行成功后,在包含redi-pilot的目录执行下段Python 3代码。它检查官方十四列表头和位置顺序,输出文件只允许首次创建。零个合格位点可以只含表头,但仍需回查该区域确有输入覆盖及过滤统计;不能把空表直接解释成没有RNA编辑。
from pathlib import Path
import os
tmp = Path("redi-pilot/merged.tsv.partial")
final = Path("redi-pilot/merged.tsv")
header, total = None, 0
with tmp.open("x") as out:
for chrom in ("chr1", "chr2"):
with Path(f"redi-pilot/{chrom}.tsv").open() as f:
h = f.readline().rstrip("\n").split("\t")
if len(h) != 14 or h[:2] != ["Region", "Position"]:
raise ValueError("输出表头不完整")
if header is not None and h != header:
raise ValueError("分片列不一致")
if header is None:
out.write("\t".join(h) + "\n")
header, prev = h, 0
for line in f:
c = line.rstrip("\n").split("\t")
if len(c) != 14 or c[0] != chrom:
raise ValueError("区域或列数错误")
pos = int(c[1])
if pos <= prev:
raise ValueError("位置重复或无序")
prev = pos
out.write(line.rstrip("\n") + "\n")
total += 1
os.link(tmp, final) # 同一Linux文件系统,目标存在时拒绝覆盖
tmp.unlink()
print("合并位点数", total)
合并器逐行写入partial文件,全部通过才用同一文件系统的硬链接发布最终文件,目标已存在时拒绝覆盖。Linux文件系统须支持硬链接;失败遗留partial供排查,重跑用新输出名。合并时保持分片只读,不同时让上游追加文件。扩到全部contig时,同步修改运行与合并列表,并按参考顺序登记,避免只合并成功的一部分。
比较吞吐,而不是只看CPU占用
保存每片time文件,配合iostat等监控记录设备读取和等待。以相同区域比较顺序与两个并发任务的总完成时间、RSS总量及I/O;并发数和区域只是测试条件,不是保证加速。若磁盘已饱和,继续增加进程可能拖慢整个队列。
试跑登记还应填区域长度、实际覆盖和输出行数。两条contig长度相近也可能有不同的转录覆盖,不能按平均染色体长度均分耗时;可用覆盖寻找较均衡的任务,但先保持区域清单无重复、无遗漏。
区域抓取失败先查索引和contig,零覆盖再查比对与过滤。需要更细窗口或MPI路线时,应另行核实边界及官方并行环境,不能直接拼接重叠结果。RNA与参考不同的候选还需排除DNA变异、错配与技术伪影,资源充足不等于编辑位点已经得到验证。
参考资料
需要额外算力时
适用前提:过滤及输入条件合理,区间试跑后确认需要额外并发能力。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
