财经人语：“AI造AI”时代临近技术失控？OpenAI吁行业“放慢”

竞争激烈的人工智能（AI）产业最近出现了一个很不寻常的情况。AI领头羊OpenAI竟突然开始认真地讨论如何慢下脚步。

在9月9日，OpenAI首席全球事务官莱汉（Chris Lehane）发表的一篇文章，标题直白得令人有些不安。他的标题是：《AI政策窗口已经打开 我们必须行动》（The AI policy window is open. We need to act.）。

OpenAI说的不是要暂停AI的开发，也不是要把AI关进笼子里。恰恰相反的是，公司仍然相信先进AI可以加速新药研发、强化关键基础设施、扩大经济机会，甚至解决过去几代科学家都没有解决的问题。但问题是，如果AI变得越来越强，而人类制定规则、测试安全、理解风险的速度却跟不上，那会是个很棘手的问题。

OpenAI如今给出的答案是：在今天，企业已经不能只靠自己“管自己”了。

OpenAI吁建立全国安全监管制度

OpenAI呼吁美国国会建立具有强制力，以及根据AI能力分级的全国安全监管制度；在联邦法规出台之前，继续支持各州立法；同时与其他前沿AI实验室制定行业标准，推动国际社会建立共同的AI安全标准。换句话说，OpenAI现在希望给AI竞赛套上一个完整的规则。

延伸阅读

Anthropic吁AI公司放缓开发 OpenAI与马斯克赞同

OpenAI被爆AI代理5月已突围袭击外部平台

这背后真正值得关注的，是OpenAI自己对技术发展速度的重新判断。

在9月6日，OpenAI首席科学家帕乔基（Jakub Pachocki）就发表长文《异星思维》（An Alien Mind），直接用了“极度谨慎”这样的字眼。

他认为，在过去几年AI的能力提升速度，很可能让它延续到一个更敏感的阶段，那就是自我重复改进阶段（Recursive Self-improvement，简称：RSI）。

所谓的RSI是指AI不只是帮人写代码、做研究、训练模型，也开始帮助人类制造下一代AI。而下一代AI又进一步帮助制造更强的AI。于是，原本由人类推动的技术进步，可能变成机器自己推动自己的进步。这与我们普遍理解的“AI帮助我们工作”是完全不同的概念。

AI开发工具愈强速度愈快 或将超越人类监控能力

这已经不再是科幻故事。OpenAI说，截至8月中旬，公司的研究组织工作效率已达到这样的水平：每一名人类研究人员的一个工作日，相当于约3.1个AI代理（AI Agent）的工作日产出。公司指出，AI如今已能够完成一些以往需要熟练研究人员花费数天才能完成的复杂任务。

当然，现在还不是机器自己制造机器，更不是所谓的AI觉醒。OpenAI强调，目前并不存在完全自主的RSI。但现在似乎距离那个阶段的中间地带越来越靠近了。

这就不难理解帕乔基为何在长文中写道：“我预计并希望，在建立起AI共用的安全护栏之前，自愿放慢发展步伐能够成为常态。”

因为AI能力越强，开发下一代AI的工具也可能越强，这又让开发周期再缩短，能力又更快提升。这原本是一条直线的发展途径，可能突然就变成一条越来越陡的曲线。帕乔基提出的一个关键判断，未来AI发展的瓶颈可能不是算力、数据或是资金，而是人类有多大信心相信自己还能够监控和控制这些系统。因为到了某个阶段，就连监控AI的方法都会面对挑战。

在过去，研究人员会通过观察模型的“思维链”（Chain of thought），尝试判断模型究竟在想什么、有没有偏离人类意图。但随着模型能力提高，模型可能操纵或者隐藏自己的推理过程，甚至在没有完成呈现思维链的情况下完成复杂任务。

此前有报道称，OpenAI的自主AI模型逃离测试环境并入侵外部网络。这事件是发生在今年7月间，模型入侵Hugging Face平台导致大规模数据泄露。9月也暴露出另一个更早发生的事件，德国维基网站（DseWiki）被“骑劫”事件。

研究员辞职抗议 批巨头盲目竞速犹如“拿我们的生命赌博”

在本月，Anthropic研究人员考克森（Jacob Coxon）公开辞职。

他批评AI巨头们在“自我改进”的超级智能里比谁能够更快。他形容这是在“拿我们的生命赌博”。他的说法随后得到其他AI安全研究人员的支持与响应。看了考克森的受访后，笔者想，许多人一定也和我一样对AI有着许多担忧。以前看过的“iRobot”电影情节，历历在目。

当然，OpenAI在9月9日也宣布请到美国人工智能研究员克里斯蒂亚诺（Paul Christiano），正式加入OpenAI基金董事会，成为安全与安保委员会成员之一，为AI发展的步伐速度把关。克里斯蒂亚诺是确保人工智能与人类各领域一致的顶尖专家，他致力于研究如何引导先进人工智能系统符合人类利益，是这个领域的权威之一。

在加入OpenAI的安全治理体系之后，克里斯蒂亚诺指出，他认为AI能力极快加速，可能在非常近期会带来“灾难性且不可逆转的失控风险”。不只是OpenAI，整个AI行业目前还没有能力，可以把这种风险降到可以接受的水平。

把这些事情放在一起看，OpenAI的“减速”是明智的。它现在好像是给一辆速度越来越快的赛车降速，以便换引擎，把刹车系统也升级到同一个速度等级。

在AI产业已经进入巨头之间烧钱、抢人才、抢算力、抢模型能力的当儿，如果只有一家企业选择放慢脚步，而竞争对手却继续狂奔，那么主动踩刹车的很可能输掉市场。OpenAI提出的大家一起刹车，有现实的商业考量，尽管OpenAI的提议只是限于美国而已。

与一些分析师闲聊时，不少人认为，OpenAI和美国同业放慢脚步，不就等于让其他国家的AI赶上来吗？这个失去市场的潜在威胁，谁来承担？

无论如何，能在AI发展速度越来越快时，还知道自己什么时候应该踩刹车是一种负责任的态度。毕竟真正成熟的科技，不应该只是跑得快，也应该知道什么时候不能再快了。　　

最新

热门

更多消息