大语言模型的软肋在哪里？

这是我第一次翻译AI领域的专业论文，翻译的过程也是学习的过程，很艰辛，但收获也大。

这篇论文的题目叫《LLMs can’t jump》，它的思想非常深刻，指出了大语言模型虽然已经胜任归纳推理和演绎推理，但还无法进行溯因推理，而溯因推理对于科学发现至关重要。

这篇论文的作者Tom Zahavy，是Google DeepMind的一位研究员。获取论文原文可访问：

https://openreview.net/forum?id=klU4737opt

以下是翻译——

大语言模型不会“跳跃”

摘要

我们究竟是如何发现新事物的？在写给莫里斯·索洛文的信中，爱因斯坦把发现的过程总结为以下步骤的循环：从感官经验直觉性地“跳跃”到能解释这些经验的公理假设，随后用逻辑推演来验证假设。生成式人工智能（Generative AI）虽然已经掌握了归纳推理（即统计性的模式匹配），并正在迅速攻克演绎推理（即形式化的证明），但我们认为，它依旧缺乏溯因推理（即提出全新的解释性假设）所需的机制。

我们把爱因斯坦构思广义相对论的过程作为计算性的案例，论证了当前盛行的“创造力即数据压缩（也即归纳推理）”的理论，无法解释那些观测数据极为匮乏下的科学发现。本篇立场论文提出，尽管现代大语言模型应能执行从假说到理论的论证阶段，但它在结构上并不具备提出假说的能力，即不能完成溯因推理式的思维“跳跃”。我们把“从模拟到形式化公理的转译”视为人工科学发明的关键瓶颈，并提出：物理上一致的多模态世界模型（multimodal world models）能够提供弥合这一鸿沟所必需的感官基础。