
GEMMA亲缘矩阵计算涉及样本两两关系,内存和输出会随样本数平方增长。减少标记可能降低计算量,却不把必须输出的n×n矩阵变小。先明确样本、标记与矩阵类型,再测试固定协议;不能只加线程或删样本后宣称同一分析已经优化。
输入检查从样本列表开始
准备经过项目质控的PLINK BED/BIM/FAM,标记选择、缺失与频率规则已有方法依据。GEMMA会依据非缺失表型等确定分析个体并影响标记筛选,全部缺失表型可能产生NaN矩阵。亲缘计算若仅有基因型,应由负责人制作专用输入副本和明确占位规则,只用于-gk,不把占位表型用于关联检验。
| 检查项 | 固定内容 | 为什么要记录 |
|---|---|---|
| 样本 | FAM的FID/IID与顺序 | 矩阵没有自带完整样本标签 |
| 标记 | QC集合及GEMMA实际使用数 | 默认筛选也会影响结果 |
| 矩阵 | gk1中心化或gk2标准化 | 定义不同不能当同一优化 |
| 资源 | 线程库、RSS、耗时、输出量 | 矩阵主体只是峰值的一部分 |
先核对本例的完整样本输入
以下对本例要求FAM六列、唯一FID/IID且表型为有限非缺失数值;缺失或特殊编码应先解释。保存为check_fam.py,在当前目录的qc.fam上检查。它不会修改任何研究表型,输出样本顺序表作为这轮矩阵的标签证据。
from pathlib import Path
import math
rows=[s.split() for s in Path("qc.fam").read_text().splitlines() if s]
assert rows and all(len(r)==6 for r in rows)
ids=[(r[0],r[1]) for r in rows]
assert len(set(ids))==len(ids)
for r in rows:
value=float(r[5])
assert math.isfinite(value) and value!=-9,"先核对缺失表型及分析样本"
with Path("kinship.samples.tsv").open("x") as f:
f.writelines(a+"\t"+b+"\n" for a,b in ids)
n=len(rows)
print("样本",n,"单个双精度矩阵主体GB",n*n*8/1e9)
固定一种矩阵协议进行试跑
需要兼容GEMMA与GNU time,qc.bed和qc.bim与刚检查的qc.fam同前缀。此例-gk 1计算中心化亲缘矩阵;改为2会改变定义。先将BLAS/OpenMP线程固定为一以建立可比较基线;某个二进制是否使用这些后端应通过实际版本与运行信息确认,不编造GEMMA通用线程开关。
set -euo pipefail
python3 check_fam.py
mkdir gemma-probe-001
export OMP_NUM_THREADS=1 OPENBLAS_NUM_THREADS=1 MKL_NUM_THREADS=1
gemma -h > gemma-probe-001/help-version.txt 2>&1
/usr/bin/time -v -o gemma-probe-001/resource.txt gemma \
-bfile "$PWD/qc" -gk 1 -o centered -outdir "$PWD/gemma-probe-001" \
> gemma-probe-001/run.log 2>&1
test -s gemma-probe-001/centered.cXX.txt
逐行检查矩阵,避免再加载一整份副本
下面检查输出行列与样本数、全部数值有限,并抽查两个对称位置。它不替代完整数值精度或模型适用性评估,但能发现截断、NaN和基本维度错误。文本每行对应FAM原顺序,任何额外样本筛选应从日志核对,不能根据矩阵大小猜回ID。
from pathlib import Path
import math
n=len(Path("kinship.samples.tsv").read_text().splitlines())
picked={};rows=0
with Path("gemma-probe-001/centered.cXX.txt").open() as f:
for i,line in enumerate(f):
values=[float(v) for v in line.split()]
assert len(values)==n and all(math.isfinite(v) for v in values)
if n>1 and i in (0,n-1):picked[i]=[values[0],values[-1]]
rows+=1
assert rows==n
if n>1:assert math.isclose(picked[0][1],picked[n-1][0],rel_tol=1e-6,abs_tol=1e-8)
print("维度与数值基础检查通过",n)
例如一万样本的一个双精度方阵主体约0.8十进制GB,五万样本约20GB,尚未计算其他矩阵、工作区和文本输出。不能把这个公式直接当RAM报价;大文本读写也可能成为瓶颈,结束时输出体积与运行峰值分别记录。
交接矩阵时同时交付样本顺序表与输入校验值。下游表型即使人数相同,也必须按ID重新对齐,不能排序表型后仍按旧矩阵行号使用。对角线和若干亲缘对可结合已知关系抽查,非对角项为负并不自动表示文件损坏;其解释取决于中心化或标准化定义。
如果要改变标记筛选或样本集合,另生成矩阵前缀与来源记录。不要在旧矩阵上直接删除文本行而忘记同步删除列和样本标签;任何子集处理都需要重新验证方阵、顺序与目标模型的要求。
NaN先查样本、实际保留SNP、缺失及单态标记;Killed再看作业内存与系统记录。增加BLAS线程前固定其后端并比较同输入完整耗时,外层并发多个n²任务会叠加内存。稀疏关系矩阵或不同估计方法需重新论证,不能作为完全等价替换。
参考资料
需要额外算力时
适用前提:输入及必要分析方法已核实,必需的n×n矩阵或工作区实测峰值超过可用主机RAM;仅运行耗时不足时另按CPU与并发评估。如需额外资源,可评估大内存CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
