22岁天才复现Claude Mythos架构并开源 融合创新思路引领AI新方向

   时间:2026-04-20 18:52 来源:快讯作者:唐云泽

一场由22岁创业者引发的技术风暴正在席卷AI界。Kye Gomez,这位年仅22岁的初创公司CEO,凭借对公开论文的深度解析和第一性原理推导,成功复现了Anthropic闭源一年的核心架构Claude Mythos,并将其完整开源为OpenMythos项目。这一突破性成果不仅让行业震惊,更可能重塑大模型发展的技术路径。

与传统堆砌参数的Transformer架构不同,OpenMythos的核心创新在于"循环深度Transformer"(RDT)设计。该架构通过单一计算模块的16次循环迭代实现推理深化,每次循环都会更新隐藏状态并注入原始输入,形成类似"思维循环"的推理机制。这种设计使模型在保持770M参数规模时,就能达到1.3B参数标准模型的性能水平,参数效率实现质的飞跃。

项目架构采用独特的三段式设计:首尾的Prelude和Coda层使用标准Transformer结构,中间循环核心则融合了多专家混合(MoE)机制。每个前馈网络层被替换为动态路由专家系统,随着隐藏状态演化自动选择不同专家组合,既保证计算广度又维持推理深度。特别引入的多潜变量注意力机制,通过压缩KV缓存实现10-20倍显存节省,使消费级硬件运行大模型成为可能。

为确保循环稳定性,开发团队设计了三重保障机制:通过谱半径约束控制迭代过程,采用自适应计算时间实现逐位置停机,并引入深度级LoRA适配器使每次迭代具备独立调整能力。这些创新使模型在数学推理、代码生成等复杂任务中展现出显著优势,Parcae团队的实验数据显示其性能已达到同规模标准模型的两倍。

该项目的开源代码已在GitHub公开,包含完整训练流程和推理实现。开发者仅需数行代码即可部署模型,这种技术民主化趋势正动摇传统闭源实验室的竞争优势。行业观察者指出,当核心架构可通过公开信息重建时,真正的技术壁垒将转向数据质量、工程优化和生态建设。

这位颠覆行业的年轻人履历同样引人注目。Kye Gomez高中毕业后即投身创业,先后创立Swarms、Agora Labs等公司,构建起覆盖AI深科技、媒体和食品科技的多领域生态。其研究聚焦大规模多智能体系统和替代模型架构,这次突破正是其技术理念的集中体现。随着OpenMythos的发布,AI领域正迎来新的竞争维度——从参数规模竞争转向思维深度竞争。

 
 
更多>同类内容
全站最新
热门内容