DNA大模型再进阶：百图生科联合中国农业大学等推出DeepD，实现百万碱基序列生成

如果把基因组比作一本“生命之书”,真正困难的并不只是读懂其中的基因。在基因之外,还有数量更庞大的调控区、重复序列和基因间区;不同物种又有各自的碱基组成、密码子偏好和基因组结构。要让一个模型同时理解细菌、植物、动物乃至病毒,还要在单碱基精度下处理百万级长度的序列,计算成本和建模难度都会迅速上升。

近日,百图生科联合中国农业大学玉米生物育种全国重点实验室赖锦盛课题组等机构,研发了跨生命域基因组基础大模型学术版DeepD。DeepD首次将跨生命域的序列功能预测与可控基因组级生成统一到同一框架中,采用稀疏MoE架构,最大规模参数达630亿参数,单个token仅激活约10亿参数,支持100万token上下文,预训练覆盖真核生物、古菌、细菌及病毒等全生命域完整基因组数据。

通过高效的模型架构、覆盖基因与基因间区的全基因组预训练,以及可控长序列生成策略,DeepD能够预测遗传变异的功能影响、识别非基因区的复杂特征,并生成酵母整条染色体和百万碱基长度的拟南芥基因组片段。通过与当前国际同类大模型如AlphaGenome (Google DeepMind) 和Evo系列(Arc Institute和NVIDIA)的比较,DeepD模型的综合表现达到了领先水平。

该论文已正式上线bioRxiv:

DeepD试图用一个统一模型回答三类问题:

一段DNA可能具有什么功能?

模型在序列中识别到了什么生物学结构?

能否按照给定条件,生成从调控元件到染色体尺度的新序列?

围绕这三个问题,DeepD将功能预测、机制解释与可控生成连接到同一套基因组建模框架中。

01

让超长基因组建模

“算得动,也看得远”

DeepD-60B总参数量约630亿,但采用稀疏混合专家(Mixture-of-Experts,MoE)架构。对每个位置,模型只调用少量专家,每个token实际激活约10亿参数。

这种“按需调用专家”的方式,有点像一所大型综合医院:专家很多,但每位患者不需要同时看遍所有科室,而是由分诊系统找到更合适的组合。模型由此可以扩大容量,同时避免每处理一个碱基都动用全部参数。

DeepD还将局部与长距离信息放在一起处理。每个模块中的24个滑动窗口注意力头侧重识别邻近序列模式,8个全局注意力头负责连接更远距离的信息。训练时,上下文窗口从8K逐步扩展到32K、128K、512K,最终达到100万token。

这意味着,模型既能观察单个碱基附近的“局部语法”,也能在更长尺度上理解基因、调控元件和基因间区之间的联系。

02

不只学习基因

也学习完整的基因组环境

许多基因组模型会优先选取基因富集区域,或从全基因组中抽取部分片段。DeepD则保留完整的基因区和全空间基因间区,让内含子、重复序列、调控序列等共同出现在原本的上下文中。

DeepD-60B的预训练语料覆盖真核生物、古菌、细菌和病毒。其中包括5,434个真核基因组、6,932个古菌基因组、136,485个细菌基因组,以及超过290万个病毒基因组。

这种数据组织方式很重要:如果只学习“句子中的关键词”,模型可能识别基因,却难以理解基因之外的大量调控与结构信息;保留完整基因组环境,则有机会让模型学习生命序列更真实的组织方式。

03

把“物种是谁”也交给模型

相同的DNA片段放在不同物种背景中,可能遵循不同的组成偏好和编码规则。为此,DeepD在专家路由中加入物种标签,让模型根据系统发育信息分配计算能力。

下图展示了同一段示意序列在不同物种标签下的路由变化。模型拥有576个专家,动图只绘制其中一小部分,用于说明不同物种信息如何引导不同的专家组合。

研究发现,DeepD的浅层专家会自发形成偏好AT或GC的不同群组。随着输入序列GC含量变化,两类专家的活跃程度也随之“交接”。

加入物种标签后,DeepD生成序列的GC含量与对应天然基因组显著相关;如果去掉物种标签,不同物种的生成结果会趋向约39%的共同基线。模型还能够复现人和酵母不同的密码子使用偏好。这些结果说明,物种信息并不是一个简单的附加标签,而是参与了模型对序列规则的判断。

04

从DNA、RNA到蛋白质

用同一个模型预测序列功能

如果一个突变破坏了关键功能,这段序列在模型看来往往会变得“不太合理”。DeepD据此比较突变前后的序列概率,无需针对具体任务微调,也能评估突变可能带来的影响。

DeepD的亮点首先在于物种和分子类型的泛化能力。同一个模型可以处理细菌与真核生物蛋白质、非编码RNA和噬菌体基因;在非编码RNA等数据相对有限的任务上,表现尤其突出,超过了参与比较的其它通用基因组模型。

这种优势并不局限于零样本预测。将DeepD的表征用于轻量下游训练后,模型在酵母表观标记和5项小鼠转录因子结合预测中均取得参与比较模型中的最高结果,显示出对非编码调控信息较强的提取能力。

在人类变异预测中,DeepD整体与当前领先的Evo2系列处于相近水平,并在非SNV、非编码及剪接相关场景中保持了稳定表现。它的价值不在于每项指标都夺得第一,而在于无需为每个任务重新设计模型,就能将同一套序列知识迁移到不同物种和功能场景。

图中依次汇总了跨物种功能预测、非编码调控预测和人类变异基准。

05

专家路由不只是“分工”

也成为观察模型的窗口

大模型能给出答案,并不代表我们已经知道它为什么这样判断。

研究团队进一步提取了DeepD在不同层的专家路由权重,并用轻量分类器测试其中包含的生物学信息。结果显示,仅凭路由特征,就能够识别:

大肠杆菌CRISPR阵列中交替出现的重复序列和间隔序列;

人类HBB基因簇中的编码区,以及LTR、LINE、SINE等不同重复序列;

玉米中的基因结构、转座元件和远端顺式调控元件。

在玉米驯化关键基因tb1附近,模型不仅识别出基因区域,还在上游约60 kb处捕捉到已被实验证实的Hopscotch转座元件增强子。对于需要远距离信息的玉米调控元件和转座元件,100万上下文模型也比8K模型表现出更强的解码能力。

这表明,稀疏专家并非只是在工程层面降低计算量;它们的分工本身,也形成了一套可用于观察基因组结构的内部表示。

06

从“预测强弱”走向“按强弱生成”

DeepD的下一步,是从理解自然序列走向设计新序列。

研究团队首先选择了长度为170 bp的玉米核心启动子。模型以High、Medium、Low活性标签进行微调,再按指定强弱生成新的候选序列。经过同源性、GC含量、预测活性和候选间相似度等多轮筛选后,团队在玉米原生质体中进行了双荧光素酶实验。

实验结果显示:

在83条High候选序列中,约76%的实测活性高于High阈值;

在71条Low候选序列中,约83%的实测活性低于Low阈值。

这些生成序列与天然玉米序列保持较低相似度,却仍包含TATA box、Y patch等典型植物核心启动子特征。换言之,模型并非简单复制训练数据,而是把“希望更强或更弱”这一条件,转化成了可被实验测量的序列差异。

07

CAB

像搭积木一样生成染色体尺度序列

普通自回归生成通常从一个开头不断向后续写。序列越长,早期信息越容易离开模型的上下文,局部错误也可能逐步累积。

为此,研究团队提出Context–Anchor–Body(CAB)策略:每一轮都在上游Anchor和下游Context之间生成一个8 kb的Body;新生成的片段随后成为下一轮的锚点,继续向前推进。

这种方式把一次超长生成,改造成带有上下游约束的连续“填空”,也让最终输出长度不再受单个训练窗口限制。

在酿酒酵母中,DeepD生成了29条完整的染色体III尺度序列,长度为309.86—316.62 kb。它们保留了与参考染色体相近的基因数、tRNA数量和蛋白长度分布;代表性序列AIYeast25的140个基因中,有138个与参考序列保持共线。

在更复杂的植物基因组中,团队进一步生成了3条拟南芥染色体1上的1 Mb区段。其中一条代表性序列恢复了245个核心基因中的243个,恢复率达到99.2%;不同功能区域的保守程度也呈现与天然群体相似的层次——编码区最保守,基因间区变化更大。

这些结果展示了从短调控元件到染色体尺度序列的连续设计能力,也说明长序列生成并不只是“足够长”,还需要同时维护基因结构、顺序和不同区域所承受的功能约束。

08

DeepD带来了什么?

DeepD的核心价值,不是单项指标的叠加,而是将几种过去常被分开讨论的能力放进同一个模型:

面向完整基因组学习。不只关注基因,也保留调控、重复和基因间序列;

兼顾容量与效率。通过稀疏专家和多尺度注意力处理百万级上下文;

覆盖多物种、多分子类型。从微生物到动植物,从DNA、RNA到蛋白质;

内部表示具有可解释性。专家路由能够映射基因结构、转座元件和远端调控元件;

连接预测与生成。既判断序列功能,也按条件生成启动子、染色体和百万碱基片段。

当然,这项工作仍有清晰的边界。当前DeepD主要建模DNA序列,尚未显式整合表观组、转录组、蛋白组和三维基因组等信息;生成的酵母染色体和拟南芥片段目前主要经过计算分析,其完整生物学功能仍需进一步实验验证。拟南芥的一条代表序列的核心基因恢复率达99.2%,并不意味着序列没有缺陷,其中仍包含新变异和终止获得突变。对于更复杂、重复度更高的区域,也有待继续测试。

从“读懂生命序列”到“按照目标设计生命序列”,仍然是一条需要模型、实验和生物学知识共同推进的长路。DeepD提供了一种新的可能:让跨物种功能预测、可解释表示与长尺度可控生成,不再是彼此孤立的能力。