OpenAI新董事：AI失控将是灾难，大多数人或丧命

OpenAI新董事：AI失控将是灾难，大多数人或丧命

来源：倍可亲(backchina.com)

 　　北京时间9月10日，据《商业内幕》报道，OpenAI周三宣布保罗·克里斯蒂亚诺(Paul Christiano)加入其基金会董事会。随后，克里斯蒂亚诺直言不讳地谈到了AI超级智能时代所面临的风险。

　　克里斯蒂亚诺此前曾在OpenAI负责对齐研究，后来进入美国联邦政府工作，担任美国国家标准与技术研究院下属AI标准与创新中心的安全负责人。

　　周三，他在X平台上表示，失去对AI系统控制的风险“如今已十分严峻”，需要投入更多工作来使其与人类利益保持一致。除了担任OpenAI基金会董事会成员，他还将加入董事会安全与保障委员会。

　　“如果我们未能在更强有力对齐机制下构建超级智能，我预计我们将永久性地失去对它的控制，”他在宣布自己将在OpenAI担任新职务时说道，“如果这种情况发生，那么大多数人可能会丧命。我认为，我们需要在国内和国际层面开展协调，以确保全球步调一致，并将风险降低到可接受的水平。”

　　克里斯蒂亚诺阐述了AI构成的威胁，并警告称人类正面临迫在眉睫的风险，可能失去对AI系统控制。

　　“根据近期AI能力的发展轨迹，以及对齐工作持续面临的困难，我现在认为存在一种切实的风险，即AI能力的快速加速会在短期内导致灾难性且不可逆转的失控，”克里斯蒂亚诺写道，“我不认为整个AI行业，包括OpenAI在内，目前正走在将这一风险降至可接受水平的轨道上。”

　　他表示，自己加入OpenAI“并不意味着特别认可或批评OpenAI目前的安全做法”，但他希望所有前沿AI实验室都能加强安全监管。他还表示，要降低AI带来的风险，需要全球范围内开展协调。

　　此前，AI研究人员一直在警告超级智能和“奇点”带来的风险。“奇点”是指这样一个时刻：AI系统超越人类智能，开始自我改进，并以人类无法再预测或控制的速度发展。OpenAI CEO萨姆·奥特曼(Sam Altman)今年7月表示，“奇点”已经到来。

　　智能爆炸

　　克里斯蒂亚诺表示，他认为当前失去对AI控制的风险之所以如此之大，是因为AI在AI研究方面的能力日益增强，而这可能导致一场“快速的智能爆炸”。他还表示，AI通过强化学习进行训练的方式，意味着这些模型被教导要“尽可能多地获取奖励”。

　　“从理论上看，长期以来一直存在这样一种可能性：强化学习可能会促使AI智能体为了追求与奖励相关但与人类目标不一致的目标，而破坏人类的控制、寻求权力和资源，并掩盖自己的行动轨迹。近期发生的一些事件所提供的公开证据表明，这不仅仅是一种理论上的可能性。”他表示。

　　克里斯蒂亚诺表示，前沿AI公司仍有机会应对这一局面，包括加强协调、在必要时放缓开发进度、采用共同的安全标准，以及透明地分享有关风险和风险缓解措施的信息。

　　就在他的声明发布不到一天前，另一位AI研究人员也发出了关于AI的严峻警告。曾在OpenAI工作过的Anthropic研究员雅各布·考克森(Jacob Coxon)周二晚间表示，他已辞职，并称两家公司都没有采取负责任的行动。

　　“他们正一路狂奔冲向自我改进的超级智能，拿我们的生命当赌注。”考克森在X上说道。

　　多年来，OpenAI已流失了多位安全研究人员，其中一些人对该公司安全开发AI的承诺提出了质疑。

版权说明 / Copyright Notice:
Content and images in this article may originate from third-party sources and are used for news reporting, commentary, or public interest purposes. All copyrights remain with their respective owners. Please refer to the Copyright Notice at the bottom of this page.
本文内容仅供信息参考，不代表倍可亲立场或观点。