云生信学生物信息学

CD-HIT基因目录处理:输入核对、参数记录与资源测量

作者:发布于 2026-11-22更新于 2026-11-15约 11 分钟阅读
CDS目录去冗余先定口径

CDS目录去冗余先定口径:核对输入ID与来源映射;固定相似度与覆盖参数;检查每条序列的簇归属;抽查代表序列和资源记录
本文操作与检查路径示意。

多样本基因目录去冗余前,先确认聚类对象。本文以预测CDS核苷酸序列为例,使用cd-hit-est;它不替代蛋白序列聚类,也不判断基因功能是否相同。输入ID需全局唯一,并保留ID到样本、组装和基因坐标的映射,才能追溯代表序列来自哪里。

参数 本例含义 需要确认
-c 0.95 相似度门槛 是项目约定,不是通用推荐
-G 1 全局比对身份 与局部比对口径不同
-aS/-aL 0.9 短、长序列覆盖要求 是否允许截短序列归并
-M/-T 内存MB与线程数 按额度设置并实测峰值

固定输入后运行一次基线

先检查空序列、重复ID和来源映射,再确认cd-hit-est版本。以下示例参数应按问题调整;同一批次保持参数不变。输出目录需为新目录,失败时保留日志,在新目录重跑。

#!/usr/bin/env bash
set -euo pipefail
genes=/data/all_samples.cds.fna
test -s "$genes"
binary="$(command -v cd-hit-est)"
mkdir cdhit-catalog-001
root="$PWD/cdhit-catalog-001"
sha256sum "$binary" "$genes" > "$root/inputs-and-tool.sha256"
/usr/bin/time -v -o "$root/resources.txt" \
  cd-hit-est -i "$genes" -o "$root/catalog.fna" \
  -c 0.95 -n 10 -G 1 -aS 0.9 -aL 0.9 -r 1 -d 0 \
  -M 16000 -T 4 > "$root/run.log" 2>&1
test -s "$root/catalog.fna"
test -s "$root/catalog.fna.clstr"
python3 - "$genes" "$root/catalog.fna" "$root/catalog.fna.clstr" <<'PY'
import sys
def ids(path):
    with open(path) as f:return [l[1:].split()[0] for l in f if l.startswith('>')]
original,representatives=ids(sys.argv[1]),ids(sys.argv[2])
assert original and len(original)==len(set(original))
assert representatives and len(representatives)==len(set(representatives))
assert set(representatives)<=set(original)
clusters=members=stars=0
with open(sys.argv[3]) as f:
    for line in f:
        if line.startswith('>Cluster '):clusters+=1
        elif line.strip():
            members+=1
            if line.rstrip().endswith('*'):stars+=1
assert members==len(original) and clusters==stars==len(representatives)
print('input, representatives, clusters',len(original),len(representatives),clusters)
PY

核对每条输入序列的归属

CD-HIT产生代表FASTA和.clstr成员表。下面的检查程序对照输入、代表和簇成员ID,确保每个输入恰好出现一次、每簇有一个代表。该检查只验证文件映射完整,不能证明聚类阈值符合研究目的,也不验证代表序列的功能。

import sys
def read_ids(path):
    ids=[]
    with open(path) as handle:
        for line in handle:
            if line.startswith(">"):
                fields=line[1:].split()
                if not fields: raise ValueError("empty FASTA identifier")
                ids.append(fields[0])
    if not ids or len(ids)!=len(set(ids)):
        raise ValueError("FASTA IDs must be nonempty and unique")
    return ids
original=read_ids(sys.argv[1]); representatives=read_ids(sys.argv[2])
clusters={}; current=None
with open(sys.argv[3]) as handle:
    for line in handle:
        if line.startswith(">Cluster "):
            current=int(line.split()[1]); clusters[current]=[]
        elif line.strip():
            if current is None or ">" not in line: raise ValueError("malformed .clstr")
            member=line.split(">",1)[1].split("...",1)[0].split()[0]
            clusters[current].append((member,line.rstrip().endswith("*")))
members=[member for rows in clusters.values() for member,_ in rows]
stars=[member for rows in clusters.values() for member,is_star in rows if is_star]
if len(members)!=len(original) or set(members)!=set(original):
    raise ValueError("cluster membership differs from input")
if len(members)!=len(set(members)):
    raise ValueError("an input ID occurs more than once")
if set(stars)!=set(representatives) or len(stars)!=len(clusters):
    raise ValueError("representatives do not match cluster stars")
print("IDs and cluster membership OK",len(original),len(representatives),len(clusters))

解释代表序列和资源结果

代表序列是算法按输入顺序和聚类策略选出的簇代表,不等于已验证的功能型。需要比较不同阈值时,固定输入版本,只改一个参数;抽查簇成员长度、比对覆盖和来源样本,关注长短序列是否因局部重叠而被合并。CDS可能来自不同转录本或预测流程,不能仅凭高相似度就视为同一基因。

记录输入清单及SHA256、程序版本、完整命令、参数、.clstr、代表FASTA、运行时间和峰值内存。-M是程序的内存预算参数,不保证进程峰值严格不超过该值;并行任务还会叠加内存和I/O。先用代表性小批次测量,再决定是否并发。合并后的目录应另存ID到来源映射,供下游注释和差异分析回查。

用小规模参数对照判断聚类影响

从不同样本抽取一批完整CDS,分别运行预设参数和一个更严格或更宽松的对照。比较簇数、代表数、成员长度分布、样本来源组成及关键基因簇,不要只看目录缩小比例。若变化集中在短序列、截短模型或特定样本,应先检查上游基因预测是否一致,再决定统一策略。

cd-hit-est的聚类结果依赖贪心处理次序;输入顺序或参数变化可能改变代表序列。比较版本时固定并记录输入排序,必要时将原始ID稳定排序后再运行。若目标是建立可比较的泛基因目录,还应在同一批次中重新运行全体样本,不要把不同参数产生的代表FASTA直接拼接成一个目录。

下游使用代表ID时,先把成员表转换成明确的代表—成员—样本映射,并保存原始基因坐标。做表达汇总或功能注释时,检查多对一归并是否符合分析单位;如果要比较基因家族而不是近似序列,可考虑专门的正交关系或蛋白结构证据,不能把核酸相似度阈值当作同源性结论。

下载练习材料

下载教程 PDF · 下载代码与示例数据 ZIP

先核对包内SHA256清单,再在独立目录复现。

需要额外算力时

适用前提:聚类目标和设置合理,必要目录处理的内存峰值超过本地容量。如需额外资源,可评估大内存CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。

咨询本任务的服务器配置

咨询本任务的服务器配置

留下手机号,我们会结合本文任务与您沟通服务器配置和报价。

也可联系云生信企业微信客服,说明本文任务。

参考与版本核对

按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。

把知识用于当前任务

下一步可以直接开始分析

按研究目标查找在线工具、课程、计算资源或完整分析服务。

按目标找方案仍有疑问,联系客服 ↗