云生信学生物信息学

tximport大队列导入实操:输入清单、转录本映射与对象测量

作者:发布于 2026-11-20更新于 2026-11-15约 8 分钟阅读
tximport大队列导入实操:输入清单、转录本映射与对象测量

tximport大队列导入实操:输入清单、转录本映射与对象测量:核对样本和索引注释;逐文件验证转录本顺序;测量导入峰值和对象;验收三矩阵及列顺序
本文操作与检查路径示意。

大量Salmon结果导入失败,先区分文件读取、转录本汇总和下游建模。本文只完成普通bulk RNA-seq的基因层面tximport对象,不启动差异分析。输入是同一转录本索引产生的quant.sf,以及从该索引对应注释导出的两列转录本—基因映射;不同参考的结果不能靠拼列混成一个队列。

准备可核对的清单

文件 必须有的列 检查重点
samples.tsv sample_id、quant 样本唯一;quant为绝对路径
tx2gene.tsv tx_id、gene_id 保留版本号;一个转录本只映射一个基因
quant.sf Name等Salmon标准列 所有样本的转录本集合和顺序一致

样本表和映射表均带表头。下面采用严格匹配:发现缺失映射就停止,让读者先回查参考,而不自动删行或截掉小数点后的版本号。例中dropInfReps=TRUE仅适用于后续方法不需要bootstrap或Gibbs重复的计划;需要推断重复时必须保留,另做容量测量。

library(tximport)
s <- read.delim("samples.tsv", stringsAsFactors=FALSE, check.names=FALSE)
m <- read.delim("tx2gene.tsv", stringsAsFactors=FALSE)
stopifnot(all(c("sample_id","quant") %in% names(s)), nrow(s)>0,
  all(c("tx_id","gene_id") %in% names(m)), nrow(m)>0,
  !anyNA(s), !anyNA(m), all(nzchar(s$sample_id)),
  !anyDuplicated(s$sample_id), !anyDuplicated(m$tx_id),
  all(nzchar(m$tx_id)), all(nzchar(m$gene_id)), all(file.exists(s$quant)))
files <- setNames(s$quant, s$sample_id)
ids <- NULL
for (f in files) {
  q <- read.delim(f, stringsAsFactors=FALSE)
  stopifnot(all(c("Name","TPM","NumReads","EffectiveLength") %in% names(q)),
    !anyNA(q$Name), !anyDuplicated(q$Name), all(nzchar(q$Name)))
  if (is.null(ids)) ids <- q$Name
  stopifnot(identical(q$Name, ids), all(ids %in% m$tx_id))
  rm(q)
}
cat("three_transcript_matrices_GiB=",3*8*length(ids)*length(files)/1024^3,"
")
txi <- tximport(files, type="salmon", tx2gene=m[,c("tx_id","gene_id")],
  txOut=FALSE, countsFromAbundance="no", dropInfReps=TRUE)
stopifnot(identical(colnames(txi$counts),s$sample_id),
  identical(dim(txi$counts),dim(txi$length)),
  !anyDuplicated(rownames(txi$counts)),all(is.finite(txi$counts)))
print(vapply(txi[c("abundance","counts","length")],object.size,numeric(1)))
stopifnot(!file.exists("import-output"),dir.create("import-output"))
saveRDS(txi,"import-output/txi.rds")
writeLines(capture.output(sessionInfo()),"import-output/session.txt")

把对象大小与峰值分开记录

将代码保存为import.R,在新目录执行。GNU Time中的Maximum resident set size用于记录本次R进程峰值;object.size只描述仍被保留的R对象,既不涵盖全部临时拷贝,也不是服务器总占用。RDS的压缩字节数更不能替代二者。

/usr/bin/time -v -o import.time.txt Rscript import.R > import.log 2>&1

tximport源码在普通非稀疏路径先建立转录本乘样本的矩阵,再汇总到基因层面。因此最终基因对象较小,不代表导入阶段只需要同样内存。代码打印的三矩阵数值载荷估计还不含名称、解析表、推断重复和汇总临时对象,只能作为核对数量级的下界线索。

怎样判定可进入下游

退出成功后重新读取import-output/txi.rds,核对样本列与设计表顺序、基因名称和三矩阵维度,并查看日志中未映射转录本等警告。counts是估计计数,不应为了看起来像整数提前四舍五入;countsFromAbundance决定计数与长度校正策略,也不应当作节省内存的开关。

若映射失败,先查索引注释及版本;若读到某个文件中断,检查该样本是否定量完整。只有映射和导入范围确认后仍出现实际RAM缺口,才据峰值安排更大内存。按样本分批保存可以用于独立任务,但日后重新拼回全量矩阵仍要承担全量内存,不能把它称为磁盘流式导入。

导入前先算一个可核对的例子

仅作为数值演算示例:二十万转录本、五百个样本,三个双精度矩阵的数值载荷约为2.24 GiB;这不是实测峰值。把自己的转录本数和样本数代入代码,再与R进程可用额度比较。容器或作业的内存上限可能小于整机free显示的总量,发生Killed时应向管理员取得该作业的OOM记录。

样本名称一致只证明列能对上,不证明实验设计正确。运行前将样本表、映射表及索引注释的校验值一并归档;不要在导入后用字母排序猜设计表顺序。若只选部分样本诊断读取问题,应保存明确子清单,并把该峰值标为子集记录,不能直接作为整个队列的容量结论。

导入完成后保留三矩阵和countsFromAbundance字段,按所用差异分析包的tximport入口构建对象。直接抽出counts后丢掉长度信息,可能改变下游使用方式;是否删除其他结果必须服从后续方法,而非只看哪个对象占内存。

需要额外算力时

适用前提:去除不需要的结果并核对映射后,汇总对象仍超过可用内存。如需额外资源,可评估大内存CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗