世界模型我见过不少,但把输入、动作、预测这条链路展示得这么明明白白的,还真·头一次见。
刚刚,Scalabot发布首个世界模型HERON-World Model。
只消给它一张当前画面,再告诉它接下来要执行什么动作,就能直接看到,机器人把这个动作做下去,接下来会发生什么。
而且更有意思的是,它还不只会预测单个智能体。
当多个智能体同时参与时,HERON也能预测彼此动作的配合与影响,以及这些动作共同作用后,世界会发生怎样的变化。是不是很神奇?
没完!还不只是Demo看起来像那么回事。
据Scalabot团队透露,HERON-World Model采用WorldArena 1.0 Track 1的开源测试方案进行离线评估,目前综合得分(EWMScore_P)达到75.80分。
这是怎么做到的?
让机器人在动手前,先预演动作后果
在快进到怎么做的之前,咱们先看看这次的Demo,展示了HERON-World Model的哪些能力。
整体来看,大致可以归成三类:物理规律、状态记忆,以及多智能体交互。
最直观的是物理规律。比如丢网球时,HERON-World Model能够根据动作预测小球飞出、下落、碰撞和反弹的过程。
0
评论 (0)