云生信学生物信息学

为GEMMA亲缘矩阵计算建立输入检查与资源基准

作者:发布于 2026-11-21更新于 2026-11-15约 7 分钟阅读
亲缘矩阵先核对样本

亲缘矩阵先核对样本:核对FAM与标记;固定矩阵类型;记录完整资源;逐行检查矩阵
本文操作与检查路径示意。

GEMMA亲缘矩阵计算涉及样本两两关系,内存和输出会随样本数平方增长。减少标记可能降低计算量,却不把必须输出的n×n矩阵变小。先明确样本、标记与矩阵类型,再测试固定协议;不能只加线程或删样本后宣称同一分析已经优化。

输入检查从样本列表开始

准备经过项目质控的PLINK BED/BIM/FAM,标记选择、缺失与频率规则已有方法依据。GEMMA会依据非缺失表型等确定分析个体并影响标记筛选,全部缺失表型可能产生NaN矩阵。亲缘计算若仅有基因型,应由负责人制作专用输入副本和明确占位规则,只用于-gk,不把占位表型用于关联检验。

检查项 固定内容 为什么要记录
样本 FAM的FID/IID与顺序 矩阵没有自带完整样本标签
标记 QC集合及GEMMA实际使用数 默认筛选也会影响结果
矩阵 gk1中心化或gk2标准化 定义不同不能当同一优化
资源 线程库、RSS、耗时、输出量 矩阵主体只是峰值的一部分

先核对本例的完整样本输入

以下对本例要求FAM六列、唯一FID/IID且表型为有限非缺失数值;缺失或特殊编码应先解释。保存为check_fam.py,在当前目录的qc.fam上检查。它不会修改任何研究表型,输出样本顺序表作为这轮矩阵的标签证据。

from pathlib import Path
import math
rows=[s.split() for s in Path("qc.fam").read_text().splitlines() if s]
assert rows and all(len(r)==6 for r in rows)
ids=[(r[0],r[1]) for r in rows]
assert len(set(ids))==len(ids)
for r in rows:
    value=float(r[5])
    assert math.isfinite(value) and value!=-9,"先核对缺失表型及分析样本"
with Path("kinship.samples.tsv").open("x") as f:
    f.writelines(a+"\t"+b+"\n" for a,b in ids)
n=len(rows)
print("样本",n,"单个双精度矩阵主体GB",n*n*8/1e9)

固定一种矩阵协议进行试跑

需要兼容GEMMA与GNU time,qc.bed和qc.bim与刚检查的qc.fam同前缀。此例-gk 1计算中心化亲缘矩阵;改为2会改变定义。先将BLAS/OpenMP线程固定为一以建立可比较基线;某个二进制是否使用这些后端应通过实际版本与运行信息确认,不编造GEMMA通用线程开关。

set -euo pipefail
python3 check_fam.py
mkdir gemma-probe-001
export OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 MKL_NUM_THREADS=1
gemma -h > gemma-probe-001/help-version.txt 2>&1
/usr/bin/time -v -o gemma-probe-001/resource.txt gemma \
  -bfile "$PWD/qc" -gk 1 -o centered -outdir "$PWD/gemma-probe-001" \
  > gemma-probe-001/run.log 2>&1
test -s gemma-probe-001/centered.cXX.txt

逐行检查矩阵,避免再加载一整份副本

下面检查输出行列与样本数、全部数值有限,并抽查两个对称位置。它不替代完整数值精度或模型适用性评估,但能发现截断、NaN和基本维度错误。文本每行对应FAM原顺序,任何额外样本筛选应从日志核对,不能根据矩阵大小猜回ID。

from pathlib import Path
import math
n=len(Path("kinship.samples.tsv").read_text().splitlines())
picked={};rows=0
with Path("gemma-probe-001/centered.cXX.txt").open() as f:
    for i,line in enumerate(f):
        values=[float(v) for v in line.split()]
        assert len(values)==n and all(math.isfinite(v) for v in values)
        if n>1 and i in (0,n-1):picked[i]=[values[0],values[-1]]
        rows+=1
assert rows==n
if n>1:assert math.isclose(picked[0][1],picked[n-1][0],rel_tol=1e-6,abs_tol=1e-8)
print("维度与数值基础检查通过",n)

例如一万样本的一个双精度方阵主体约0.8十进制GB,五万样本约20GB,尚未计算其他矩阵、工作区和文本输出。不能把这个公式直接当RAM报价;大文本读写也可能成为瓶颈,结束时输出体积与运行峰值分别记录。

交接矩阵时同时交付样本顺序表与输入校验值。下游表型即使人数相同,也必须按ID重新对齐,不能排序表型后仍按旧矩阵行号使用。对角线和若干亲缘对可结合已知关系抽查,非对角项为负并不自动表示文件损坏;其解释取决于中心化或标准化定义。

如果要改变标记筛选或样本集合,另生成矩阵前缀与来源记录。不要在旧矩阵上直接删除文本行而忘记同步删除列和样本标签;任何子集处理都需要重新验证方阵、顺序与目标模型的要求。

NaN先查样本、实际保留SNP、缺失及单态标记;Killed再看作业内存与系统记录。增加BLAS线程前固定其后端并比较同输入完整耗时,外层并发多个n²任务会叠加内存。稀疏关系矩阵或不同估计方法需重新论证,不能作为完全等价替换。

参考资料

需要额外算力时

适用前提:输入及必要分析方法已核实,必需的n×n矩阵或工作区实测峰值超过可用主机RAM;仅运行耗时不足时另按CPU与并发评估。如需额外资源,可评估大内存CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗