云生信学生物信息学

Manta批处理实操:任务目录隔离、并发控制与结果核对

作者:发布于 2026-11-21更新于 2026-11-15约 8 分钟阅读
Manta批处理实操:任务目录隔离、并发控制与结果核对

Manta批处理实操:任务目录隔离、并发控制与结果核对:核对BAM参考及解释器;每个样本独立配置目录;核对候选与二倍体结果;限制总并发并记录峰值
本文操作与检查路径示意。

Manta批量处理时,独立样本任务和联合检测要先分清。把许多BAM反复加到同一个配置中,会组成联合二倍体分析,不是自动为每个样本生成独立结果。本文固定Manta1.6.0,处理人类短读长双端DNA WGS的独立胚系样本;肿瘤配对、外显子和RNA模式分别需要不同入口及验收。

运行前检查比普通BAM读取更严格

对象 需确认 不通过先处理
BAM 坐标排序、索引、真实样本及RG/SM 一个BAM不要混入不同个体
参考FASTA 原比对参考及.fai 染色体名称、长度、顺序一致
读段表示 适用的双端方向、SEQ与CIGAR 按1.6.0输入限制核对
环境 软件构建、兼容Python与依赖 独立旧版环境先验收
任务资源 每任务-j及队列并发 同时观察整个作业组峰值

官方手册要求参考与BAM的染色体集合约定一致,并列出未知SEQ、特定CIGAR表示等限制;samtools quickcheck不能替代这些条件。该发行版脚本具有Python2时代依赖,不直接用任意当前python解释器运行。官方仓库已归档,本文描述固定版本的复现操作,不代表仍有持续维护。

按清单配置,再执行工作流

manta-inputs.tsv为无表头、LF换行三列TAB:任务ID、预期VCF样本名、BAM绝对路径。预期样本名来自已核对的RG/SM,不强行让它等于文件名。两个作业只是调用示例,脚本先顺序完成每个样本,失败目录保留供排查。

set -euo pipefail
: "${MANTA_PYTHON:?填写已验证的兼容解释器绝对路径}"
manta=/opt/manta-1.6.0
ref=/ref/genome.fa
test -s "$manta/bin/configManta.py"
test -s "$ref";test -s "$ref.fai"
mkdir manta-batch
declare -A seen=();n=0
while IFS=$'\t' read -r id sample bam extra || [[ -n "$id$sample$bam$extra" ]]; do
  [[ "$id" =~ ^[A-Za-z0-9][A-Za-z0-9_.-]*$ ]]
  [[ -n "$sample" && "$bam" = /* && -z "$extra" ]]
  [[ -z "${seen[$id]+yes}" ]];seen[$id]=1
  test -s "$bam";samtools quickcheck -v "$bam"
  d="$PWD/manta-batch/$id";mkdir "$d"
  "$MANTA_PYTHON" "$manta/bin/configManta.py" --bam "$bam" \
    --referenceFasta "$ref" --runDir "$d/run" > "$d/config.log" 2>&1
  test -s "$d/run/runWorkflow.py"
  /usr/bin/time -v -o "$d/time.txt" "$MANTA_PYTHON" \
    "$d/run/runWorkflow.py" -j 2 > "$d/run.log" 2>&1
  for file in diploidSV candidateSV candidateSmallIndels; do
    vcf="$d/run/results/variants/$file.vcf.gz"
    test -s "$vcf";gzip -t "$vcf"
    bcftools view -h "$vcf" > "$d/$file.header.txt"
    bcftools stats "$vcf" > "$d/$file.stats.txt"
  done
  bcftools query -l "$d/run/results/variants/diploidSV.vcf.gz" > "$d/output.samples"
  printf '%s\n' "$sample" > "$d/expected.samples"
  cmp "$d/expected.samples" "$d/output.samples"
  printf 'COMPUTE_OK\n' > "$d/status.txt"
  n=$((n+1))
done < manta-inputs.tsv
test "$n" -gt 0

候选文件和正式评分结果含义不同

检查config.log、run.log以及运行目录中的pyFlow日志,确认配置、输入样本与流程状态。candidateSV是较宽松的未评分候选,不能直接当作通过过滤的二倍体结果;diploidSV还要结合FILTER、样本级FT、支持证据与IMPRECISE等字段审查。候选小indel文件也不等于完成了完整小变异检测。

一个结构事件可能用多条BND表示,并由MATEID或EVENT关联,因此VCF记录数不等于独立事件数。零记录的合法输出与缺文件、截断或任务失败分开处理;gzip与表头检查只验证部分结构,后续解释仍需结合比对证据和其他适用方法。

恢复和并发要保持同一配置

中断后按该版本工作流规则,在同一run目录、相同输入和参数下重启runWorkflow.py,并确认日志确实恢复了哪些步骤。不要重新配置到一半时覆盖旧目录,也不要把另一个样本的workspace复制来续跑。正式批量任务用唯一目录保存状态,汇总时逐项对应原计划,不能只统计成功文件。

-j设置单工作流并行作业数,多个样本并发还要另设总上限。GNU Time记录不能替代Manta子进程组的总内存监控,应结合调度器或任务组采样;同时记录共享盘读负载与工作盘高水位。先试一个代表性样本,再测两个任务并发后的整批完成时间。

输入不适配、模式错误或片段分布异常先修方法。改变调用区间或过滤设置会改变结果范围,不能当作无影响的加速。单样本流程验证通过后,确有任务吞吐缺口,再按总资源安排CPU、RAM和持续运行窗口;独立调用也不自动产生统一队列联合分型结果。

需要额外算力时

适用前提:单个样本流程通过验证,多任务吞吐量超出现有能力。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗