Yann LeCun新公司AMI融资4.5亿美元 基于JEPA架构构建世界模型


基本信息


摘要/简介

世界模型是下一代 AI 所需的。


导语

Yann LeCun 领导的 AMI Labs 近期完成 10 亿美元种子轮融资,估值达 45 亿美元,旨在构建基于 JEPA 架构的世界模型。这一进展标志着业界正加速探索超越单纯语言生成的通用人工智能,试图解决当前模型在物理世界理解与推理上的短板。本文将梳理该项目的核心技术与资金动向,帮助读者理解为何“世界模型”被视为通往下一代 AI 的关键路径。


摘要

以下是该新闻内容的简洁中文总结:

核心摘要:

由图灵奖得主、Meta首席AI科学家杨立昆(Yann LeCun)联合创办的AMI Labs正式宣告成立。该公司在种子轮融资中便获得了10亿美元的资金支持,投后估值高达45亿美元,显示出资本市场对其技术愿景的极高信心。

关键信息:

  1. 核心目标:构建世界模型 AMI Labs 成立的宗旨是开发“世界模型”,这被广泛认为是通向下一代人工智能(即人类水平AI)的关键技术路径。目前的AI系统(如大语言模型)主要处理文本和概率预测,而“世界模型”旨在让AI像人类一样理解物理世界的运作规律、因果关系以及环境状态,从而具备真正的推理和规划能力。

  2. 技术基石:JEPA 架构 公司的技术核心将围绕 JEPA(联合嵌入预测架构,Joint Embedding Predictive Architecture) 展开。这是杨立昆提出的一种突破性架构,与传统的生成式模型(如GPT)不同,JEPA 不直接预测像素或Token,而是在抽象的潜在空间中进行预测。这种方法被认为能更高效地学习世界特征,是实现“世界模型”的最佳候选方案。

  3. 资金规模:史上最大种子轮之一 10亿美元的种子轮融资在科技创投界极为罕见(通常种子轮仅为数百万美元),这一巨额资金表明AMI Labs跳过了早期验证阶段,直接进入了高强度的资源投入和大规模研发阶段。

总结: AMI Labs 的成立标志着AI领域正从“大语言模型”向“世界模型”这一新范式迈进。杨立昆试图通过巨额资金支持和JEPA架构,打造出能真正理解和模拟物理世界的下一代AI系统。


最佳实践

最佳实践指南

实践 1:构建基于 JEPA 架构的联合预测模型

说明: Yann LeCun 的 AMI Labs 核心技术围绕 JEPA(联合嵌入预测架构)展开。与传统生成式模型(如 GPT)预测下一个 Token 不同,JEPA 专注于在抽象潜在空间中预测模型表征。实施这一实践意味着从概率序列建模转向基于世界模型的因果推理,以处理更复杂的物理世界交互。

实施步骤:

  1. 搭建双流编码器架构,分别处理输入观测和目标状态。
  2. 设计潜在空间嵌入层,将高维感知数据映射到低维抽象表征。
  3. 实现非对比性损失函数,优化预测模型在潜在空间的嵌入匹配度,而非像素级重建。
  4. 引入掩码策略,强制模型学习高层语义特征而非低级统计相关性。

注意事项: 避免在像素空间直接进行预测,这会导致高计算成本和对细节的过度关注。重点应放在捕获抽象特征和因果关系上。


实践 2:开发自主具身智能系统

说明: AMI Labs 的愿景是创建能够像人类一样理解和推理的 AI。最佳实践是将世界模型应用于具身智能,即让 AI 拥有实体或在虚拟环境中进行交互。通过感知-行动循环,使系统能够理解物理定律、因果关系和物体持久性。

实施步骤:

  1. 集成多模态传感器输入(视觉、音频、触觉数据)。
  2. 建立世界模型模拟器,允许智能体在采取行动前预演后果。
  3. 开发规划模块,利用世界模型的预测结果优化长期目标策略。
  4. 在模拟环境(如模拟器或游戏引擎)中进行大规模训练,再迁移至物理机器人。

注意事项: 确保模拟环境与真实世界的物理特性尽可能一致,以减少“Sim-to-Real”迁移时的性能下降。


实践 3:采用以目标为导向的架构设计

说明: AMI 的目标是构建能够规划、推理和学习的系统。最佳实践是设计以目标为导向的 AI 架构,而非单纯的响应式工具。系统应具备内在动机,能够在没有明确指令的情况下探索环境并完成复杂任务。

实施步骤:

  1. 定义分层目标结构,将高层抽象目标分解为低层可执行子任务。
  2. 引入内在奖励机制,鼓励探索未知状态和减少不确定性。
  3. 实现记忆机制,包括情景记忆(存储过去事件)和语义记忆(存储通用知识)。
  4. 开发元认知模块,监控自身性能并在必要时调整策略。

注意事项: 平衡探索与利用。过度的探索可能导致低效,而过度的利用可能导致陷入局部最优。


实践 4:优化算力资源以支持大规模世界模型训练

说明: 获得 10 亿美元种子轮融资意味着 AMI Labs 将进行大规模计算基础设施建设。最佳实践是构建专门针对 JEPA 和世界模型训练优化的计算集群,而非单纯堆砌 GPU。

实施步骤:

  1. 部署高性能计算集群,优先考虑高带宽内存(HBM)和互联技术。
  2. 开发自定义算子内核,针对 JEPA 特有的前向传播和反向传播过程进行优化。
  3. 实施混合精度训练策略,在保持模型精度的同时提高吞吐量。
  4. 建立模型检查点和容错机制,确保在数千个 GPU 上训练的稳定性。

注意事项: 关注能源效率和散热问题,大规模模型训练的运营成本(OPEX)极高,优化每瓦特性能是关键。


实践 5:建立开放科学协作与安全对齐机制

说明: Yann LeCun 长期倡导开放科学。最佳实践是在追求高性能 AGI 的同时,保持研究的透明度,并建立严格的安全对齐机制。这包括发布基准测试、开源非核心组件,并确保世界模型的行为符合人类价值观。

实施步骤:

  1. 建立内部红队测试机制,专门寻找世界模型的漏洞和潜在风险。
  2. 设计可解释性工具,可视化模型在潜在空间的推理路径。
  3. 与学术界合作发布标准化数据集,用于评估世界模型的物理常识理解能力。
  4. 实施“宪法 AI”原则,通过反馈循环微调模型,使其遵守预设的安全边界。

注意事项: 在开放性与安全性之间取得平衡。完全开放可能被滥用,而完全封闭则阻碍行业进步。应采用分阶段的发布策略。


实践 6:利用合成数据进行预训练

说明: 真实世界数据虽然丰富,但往往缺乏关于物理因果关系的明确标注。最佳实践是利用世界模型本身或专门的物理引擎生成合成数据。这不仅能提供无限的训练素材,还能自带完美的 ground truth 标注。

实施步骤:

  1. 开发基于物理的渲染引擎,生成多样化的场景和交互数据。
  2. 使用“课程学习”策略,从简单的物理场景逐步过渡到复杂的社交交互场景。
  3. 训练一个较小的“教师模型”来筛选

学习要点

  • Yann LeCun 创立的 AMI Labs 完成 10 亿美元种子轮融资,投后估值达 45 亿美元,旨在构建基于 JEPA 架构的世界模型。
  • 该项目致力于实现自主智能,核心目标是开发能够真正理解物理世界并进行推理的 AI 系统,而不仅仅是生成文本或图像。
  • AMI Labs 将采用非营利与营利性并行的混合模式运营,以确保在追求技术突破的同时保持对安全和社会责任的承诺。
  • 技术路线将重点围绕联合嵌入预测架构(JEPA)展开,这是 LeCun 提出的作为大语言模型替代方案的下一代 AI 核心范式。
  • 此轮融资的规模和估值显示了资本市场对“世界模型”及超越 Transformer 架构的下一代 AI 技术的巨大信心。
  • 该实验室的成立标志着 AI 研究正从单纯的大语言模型(LLM)向具备常识和世界模拟能力的更高级形态演进。

引用

注:文中事实性信息以以上引用为准;观点与推断为 AI Stack 的分析。



站内链接

相关文章