
多样本基因目录去冗余前,先确认聚类对象。本文以预测CDS核苷酸序列为例,使用cd-hit-est;它不替代蛋白序列聚类,也不判断基因功能是否相同。输入ID需全局唯一,并保留ID到样本、组装和基因坐标的映射,才能追溯代表序列来自哪里。
| 参数 | 本例含义 | 需要确认 |
|---|---|---|
| -c 0.95 | 相似度门槛 | 是项目约定,不是通用推荐 |
| -G 1 | 全局比对身份 | 与局部比对口径不同 |
| -aS/-aL 0.9 | 短、长序列覆盖要求 | 是否允许截短序列归并 |
| -M/-T | 内存MB与线程数 | 按额度设置并实测峰值 |
固定输入后运行一次基线
先检查空序列、重复ID和来源映射,再确认cd-hit-est版本。以下示例参数应按问题调整;同一批次保持参数不变。输出目录需为新目录,失败时保留日志,在新目录重跑。
#!/usr/bin/env bash
set -euo pipefail
genes=/data/all_samples.cds.fna
test -s "$genes"
binary="$(command -v cd-hit-est)"
mkdir cdhit-catalog-001
root="$PWD/cdhit-catalog-001"
sha256sum "$binary" "$genes" > "$root/inputs-and-tool.sha256"
/usr/bin/time -v -o "$root/resources.txt" \
cd-hit-est -i "$genes" -o "$root/catalog.fna" \
-c 0.95 -n 10 -G 1 -aS 0.9 -aL 0.9 -r 1 -d 0 \
-M 16000 -T 4 > "$root/run.log" 2>&1
test -s "$root/catalog.fna"
test -s "$root/catalog.fna.clstr"
python3 - "$genes" "$root/catalog.fna" "$root/catalog.fna.clstr" <<'PY'
import sys
def ids(path):
with open(path) as f:return [l[1:].split()[0] for l in f if l.startswith('>')]
original,representatives=ids(sys.argv[1]),ids(sys.argv[2])
assert original and len(original)==len(set(original))
assert representatives and len(representatives)==len(set(representatives))
assert set(representatives)<=set(original)
clusters=members=stars=0
with open(sys.argv[3]) as f:
for line in f:
if line.startswith('>Cluster '):clusters+=1
elif line.strip():
members+=1
if line.rstrip().endswith('*'):stars+=1
assert members==len(original) and clusters==stars==len(representatives)
print('input, representatives, clusters',len(original),len(representatives),clusters)
PY
核对每条输入序列的归属
CD-HIT产生代表FASTA和.clstr成员表。下面的检查程序对照输入、代表和簇成员ID,确保每个输入恰好出现一次、每簇有一个代表。该检查只验证文件映射完整,不能证明聚类阈值符合研究目的,也不验证代表序列的功能。
import sys
def read_ids(path):
ids=[]
with open(path) as handle:
for line in handle:
if line.startswith(">"):
fields=line[1:].split()
if not fields: raise ValueError("empty FASTA identifier")
ids.append(fields[0])
if not ids or len(ids)!=len(set(ids)):
raise ValueError("FASTA IDs must be nonempty and unique")
return ids
original=read_ids(sys.argv[1]); representatives=read_ids(sys.argv[2])
clusters={}; current=None
with open(sys.argv[3]) as handle:
for line in handle:
if line.startswith(">Cluster "):
current=int(line.split()[1]); clusters[current]=[]
elif line.strip():
if current is None or ">" not in line: raise ValueError("malformed .clstr")
member=line.split(">",1)[1].split("...",1)[0].split()[0]
clusters[current].append((member,line.rstrip().endswith("*")))
members=[member for rows in clusters.values() for member,_ in rows]
stars=[member for rows in clusters.values() for member,is_star in rows if is_star]
if len(members)!=len(original) or set(members)!=set(original):
raise ValueError("cluster membership differs from input")
if len(members)!=len(set(members)):
raise ValueError("an input ID occurs more than once")
if set(stars)!=set(representatives) or len(stars)!=len(clusters):
raise ValueError("representatives do not match cluster stars")
print("IDs and cluster membership OK",len(original),len(representatives),len(clusters))
解释代表序列和资源结果
代表序列是算法按输入顺序和聚类策略选出的簇代表,不等于已验证的功能型。需要比较不同阈值时,固定输入版本,只改一个参数;抽查簇成员长度、比对覆盖和来源样本,关注长短序列是否因局部重叠而被合并。CDS可能来自不同转录本或预测流程,不能仅凭高相似度就视为同一基因。
记录输入清单及SHA256、程序版本、完整命令、参数、.clstr、代表FASTA、运行时间和峰值内存。-M是程序的内存预算参数,不保证进程峰值严格不超过该值;并行任务还会叠加内存和I/O。先用代表性小批次测量,再决定是否并发。合并后的目录应另存ID到来源映射,供下游注释和差异分析回查。
用小规模参数对照判断聚类影响
从不同样本抽取一批完整CDS,分别运行预设参数和一个更严格或更宽松的对照。比较簇数、代表数、成员长度分布、样本来源组成及关键基因簇,不要只看目录缩小比例。若变化集中在短序列、截短模型或特定样本,应先检查上游基因预测是否一致,再决定统一策略。
cd-hit-est的聚类结果依赖贪心处理次序;输入顺序或参数变化可能改变代表序列。比较版本时固定并记录输入排序,必要时将原始ID稳定排序后再运行。若目标是建立可比较的泛基因目录,还应在同一批次中重新运行全体样本,不要把不同参数产生的代表FASTA直接拼接成一个目录。
下游使用代表ID时,先把成员表转换成明确的代表—成员—样本映射,并保存原始基因坐标。做表达汇总或功能注释时,检查多对一归并是否符合分析单位;如果要比较基因家族而不是近似序列,可考虑专门的正交关系或蛋白结构证据,不能把核酸相似度阈值当作同源性结论。
下载练习材料
先核对包内SHA256清单,再在独立目录复现。
需要额外算力时
适用前提:聚类目标和设置合理,必要目录处理的内存峰值超过本地容量。如需额外资源,可评估大内存CPU服务器租赁。咨询时说明软件版本、任务规模和使用期限,配置与支持范围另行确认。
咨询本任务的服务器配置
留下手机号,我们会结合本文任务与您沟通服务器配置和报价。 也可联系云生信企业微信客服,说明本文任务。咨询本任务的服务器配置
参考与版本核对
按文中适用环境运行,所用版本与参数以实际安装环境和对应官方文档为准。
