关于萨顿访谈的几点思考

外来客 • 2026-08-22 02:54:26

声明：本文为对公开内容的摘要整理，未经本站独立核实，可能与原内容存在出入，不代表本站立场、观点或建议；观点与版权归原作者及原平台所有。如涉及版权问题，请联系我们，核实后立即删除。 [ 免责声明 ]

（原标题：Some thoughts on the Sutton interview）

作者认为 Richard Sutton 对 LLM 的批评（如缺乏持续学习、样本效率低）指出了真实缺陷，但双方对“模仿学习”与“强化学习”关系的理解存在分歧。
作者主张模仿学习与强化学习并非互斥，而是连续且互补的；模仿学习可视为短视距的强化学习，能为后续基于真实环境的强化学习提供必要的先验知识。
作者反驳了“LLM 仅预测人类下一句话而非建立世界模型”的观点，认为 LLM 已具备深层世界表征，且通过 RL 训练已展现出解决奥数、编程等基于真实标准（ground truth）任务的能力。

计算效率与数据依赖：Sutton 指出 LLM 在部署阶段不学习，训练阶段依赖不可扩展的人类数据，且学习的是“人类会说什么”而非环境如何响应动作。
AlphaGo 与 AlphaZero 类比：AlphaGo 基于人类棋谱（模仿学习），AlphaZero 从零开始（强化学习）。两者均超越人类，证明人类数据并非有害，只是在足够规模下帮助有限。
化石燃料类比：人类文明从水轮到太阳能/核聚变，必须经过化石燃料这一廉价、便利的中间阶段；同理，人类数据是通往 AGI 的必要中间步骤。
持续学习机制：动物通过观察提取信息，外层 RL 激励内层系统最大化信号获取。作者认为 LLM 的上下文学习（in-context learning）已自发涌现出类似持续学习的灵活性，未来可通过将微调作为工具调用等方式实现跨窗口的持续学习。
样本效率对比：RL 训练 LLM 每集（episode）仅学习约 1 bit 信息，而动物从环境中提取的信息量远超此值，凸显当前范式在样本效率上的巨大差距。