Rich Sutton直言：合成数据生成是一条歧路

近日，强化学习领域的奠基人之一 Rich Sutton 与他的联合创始人、昔日在阿尔伯塔大学的学生 Khurram Javed，共同接受了红杉资本合伙人 Sonya Huang 与 Alfred Lin 的访谈。对话从《苦涩的教训》切入，围绕大语言模型的真实局限、合成数据的迷思、持续学习、阿尔伯塔计划，以及两人共同创立的新公司 Oak Lab 的雄心等方向展开。

访谈中，Rich Sutton 给出了一系列判断。他将大语言模型同时视为《苦涩的教训》的正面与反面例子：它凭借可扩展的计算取得了巨大成功，却因过度依赖人类知识，最终会被有限的互联网信息量所束缚。

他直言，当前基础模型实验室押注的合成数据生成是一条歧路，合成数据本身就是错的，很可能成为下一个惨痛的教训，因为世界是无限复杂的“大世界”，任何人为编写的程序生成的都只是一个微缩的、注定不完整的世界，永远无法替代真实经验。

他还指出，当前大语言模型助手在与用户交互时权重从未发生改变，所谓的“记忆”和“上下文学习”并不等于真正的权重学习，因此从严格意义上说它们并非持续学习者，甚至反问“你们才是奇怪的人，居然觉得用不再学习的东西能打造出博士水平的专业能力”。他还判断，长期来看大语言模型可能会面临“生存危机”，因为语言能力可能只占智能的20%到25%，把语言流畅性等同于通用智能是一种误解。

此外，他提出没有任何动物是通过监督学习掌握技能的，学校教育只是人类学习中很小的一部分，甚至连如何调动肌肉发音这样最基本的能力都不存在监督信号。