云生信学生物信息学

fastp多文件批处理教程:按读写速度、线程和临时空间安排任务

作者:发布于 2026-11-20更新于 2026-11-15约 6 分钟阅读
fastp批处理,先限制活动样本数

fastp批处理,先限制活动样本数:固定配对与过滤设置;每个样本使用独立报告;检查前后reads及过滤原因;比较吞吐再增加并发
本文操作与检查路径示意。

fastp处理大量FASTQ时,要同时限制活动样本数和每个样本的线程。一次启动几十个进程,可能让压缩、读取和输出互相争用,耗时反而增加。下面先给一个双端样本入口,再用顺序与少量并发作对照。示例面向短读长双端数据,质控与过滤规则仍需按实验设计确定,不能只为提速改变保留范围。

先固定样本、配对和过滤设置

为每个样本记录R1/R2的绝对路径、文件校验值、建库信息和实际读段规模。同一样本的两个文件必须确实配对;文件名看起来相似不能代替交付清单。多lane数据先明确组织方式,不把不同生物样本的两端误配。先用一个样本核对预期变化,再扩到批次。

需要固定 记录内容 不能混入的变化
输入 配对、读段规模、压缩格式 换更小样本后声称更快
处理 版本、接头、质量、长度与其他选项 为降低负载偷偷加过滤
执行 每任务线程和同时样本数 把两者都设为全部CPU
输出 新目录、clean FASTQ、JSON和HTML 默认报告名被多个任务覆盖

保存能拒绝旧目录的单样本入口

已安装fastp、gzip和GNU time后,将代码保存为fastp_one.sh。参数依次为样本ID、R1、R2、线程数。先在脚本标注处补齐本项目已经验证的过滤选项,并冻结版本;本例使用默认科学处理设置,不代表所有测序数据都适用。

#!/usr/bin/env bash
set -euo pipefail
sample="$1"; r1="$2"; r2="$3"; threads="$4"
[[ "$sample" =~ ^[A-Za-z0-9][A-Za-z0-9_.-]*$ ]] || exit 2
[[ "$threads" =~ ^[1-9][0-9]*$ ]] || exit 2
[[ "$r1" != "$r2" && -s "$r1" && -s "$r2" ]] || exit 2
mkdir -p runs
out="runs/$sample"
mkdir "$out"
gzip -t "$r1" "$r2"
fastp --version > "$out/version.txt" 2>&1
# 在此命令中加入项目已验证的接头、质量等选项
/usr/bin/time -v -o "$out/resources.txt" fastp \
  -i "$r1" -I "$r2" -o "$out/clean_R1.fastq.gz" \
  -O "$out/clean_R2.fastq.gz" -w "$threads" \
  -j "$out/fastp.json" -h "$out/fastp.html" \
  > "$out/stdout.log" 2> "$out/stderr.log"
test -s "$out/fastp.json" && test -s "$out/fastp.html" || exit 2
gzip -t "$out/clean_R1.fastq.gz" "$out/clean_R2.fastq.gz"
touch "$out/COMMAND_OK"

例如在新的工作目录执行 bash fastp_one.sh S01 /data/S01_R1.fastq.gz /data/S01_R2.fastq.gz 2。2只是试跑线程数,应在获配额度和安装版本允许范围内选。gzip检查压缩完整性,不证明FASTQ格式、配对身份或过滤结果正确;COMMAND_OK也只代表这些命令检查通过。

验证报告,再安排并发

查看每个样本的JSON、HTML和stderr,核对处理前后reads数量、质量与长度变化,以及接头和过滤原因。若几乎没有保留reads,先解释原因,再决定是否进入下游。不要仅凭clean文件存在或压缩校验通过就放行;报告应属于本轮输入,不能复用旧目录中同名文件。

固定两个代表样本,先顺序处理,再在另一新目录同时处理两个,记录整批墙钟时间、成功样本数与总任务资源。并发包装须等待所有子任务并传播失败;一个样本失败时不能仍把全批记为成功。不要把两个方案的结果放进同一个runs目录,已有目录会按设计停止。

按读写证据选择活动任务数

先用“并发数×每任务线程”做CPU预算起点,还需考虑程序及压缩的实际开销。内存、共享存储和输出写盘要分别测量。并发增加后吞吐不变而I/O等待升高,优先减少活动样本、检查输入和输出所在挂载点;多给CPU不一定解决问题。

磁盘计划至少覆盖原始FASTQ、clean结果、日志和需要同时保留的旧版本。输出压缩比受样本及处理影响,不用单个文件的固定倍数推全部容量。清理前确认结果与报告已验收并有既定保留规则;最后保存通过的最大输入、线程、并发和工作盘位置,用同条件试跑比较新环境。

需要额外算力时

适用前提:测出单任务占用后,现有机器无法在计划时间完成批量质控。如需额外资源,可评估按任务测算的CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗