🔐 登录 ✍️ 注册

博主头像

H-JEPA开源 | Yann LeCun世界模型创业交卷 | 杨立昆 | 世界模型 | JEPA

外来客 • 2026-10-18 20:53:05

声明：本文为对公开内容的摘要整理，未经本站独立核实，可能与原内容存在出入，不代表本站立场、观点或建议；观点与版权归原作者及原平台所有。如涉及版权问题，请联系我们，核实后立即删除。 [ 免责声明 ]

🧠 H-JEPA架构与核心机制

分层表征设计：H-JEPA（分层联合嵌入预测架构）摒弃单一浅空间，让模型在不同抽象层级和时间尺度上独立学习表征。高层丢弃无法预测的细节，保留宏观状态；低层聚焦具体动作与身体细节。
规划逻辑：采用自上而下的接力式规划。顶层优化宏观动作以接近目标，中间状态逐级下发为子目标，最终由底层输出可执行动作。闭环控制中每层仅对短时程负责，长程一致性由上层兜底。
防坍塌机制：引入SIGREG方法将嵌入分布推向各向同性高斯，防止表征坍塌。但该方法在表征严重坍塌时梯度信号会减弱，仍属开放问题。

📊 实验数据与性能对比

仿真环境表现：在四足机器人迷宫导航任务中，三层H-JEPA成功率为73.3%，而单层扁平模型仅为18%。且分层模型的规划算力开销反而更低。
消融实验结论：仅将目标距离计算空间替换为上层编码器（不做分层规划），成功率即可从18%提升至20.7%-31.3%。这表明收益部分来自表征学习而非单纯的时间分解。
选择性抽象验证：在存在干扰物的环境中，高层表征中快速变化的细节（如腿部姿态、移动干扰物）逐渐模糊消失，而本体坐标保持稳定。这种取舍是预测误差增大后自然形成的结构。

🤖 真实数据挑战与解决方案

Droid数据集困境：在人类遥控机械臂视频上，模型易发生“场景特征坍塌”，即记住房间背景却丢失动作细节。数据显示75%的潜在方差来自场景差异而非动作。
动力学损失修补：通过增加E动力学损失项，要求模型根据前后状态反推动作，强制保留与动作相关的信息。此方法无需人工标注但需数据包含动作标签。
数据工程优化：团队将原始5.5TB的Droid数据压缩至127.6GB（约45分之一），解码速度提升17.9倍，并开源了构建脚本以解决视频解码瓶颈。

🌍 世界模型与大语言模型之争

核心分歧：杨立昆认为大语言模型（LLM）本质是统计规律复现与模仿，无法达到人类级智能；而世界模型通过预测未知环境中的物理后果来实现理解。
技术路径差异：H-JEPA代表抽象预测路线，追求紧凑空间内的因果结构；李飞飞的Marble侧重结构化3D重建；谷歌的Genie 3则在像素空间进行实时交互式生成。三者分别从结构、外观和动态变化侧面逼近目标。
行业共识与分歧：2025年AAI调查显示76%的研究者认为仅靠扩大LLM规模难以实现AGI。尽管有批评指出统计预测缺乏因果理解，但H-JEPA提供了可复现的实验证据，证明分层世界模型在规划任务上的有效性。

🏢 AMI公司背景与展望

团队与融资：杨立昆于2025年11月离开Meta创办AMI（高级机器智能）。2026年3月完成10.3亿美元融资，投前估值35亿美元，投资方包括英伟达、三星等。
当前局限：论文指出层数并非越多越好（受训练片段长度限制），且真机闭环控制尚未完全实现。目前公司主要展示技术方向，暂无面向公众的产品入口，但已与医疗AI公司Nebula建立战略合作以探索应用落地。

👤 同一博主

查看该博主全部 151 篇

🧭 类似博主

0 条评论

发表评论

请先登录后参与讨论。