AI未来消灭人类？研究员：进步神速同业恐惧

柯克森称开发AI的工程人员本身相信，AI未来可能消灭所有人类，呼吁各界别低估AI威力。

一名已离开Anthropic的人工智能（AI）研究员向BBC表示，从事这项技术工作的人对其进步速度及其对人类可能造成的影响“真诚地感到恐惧”。

雅各布·考克森12日接受BBC的劳拉·昆斯伯格访问，谈及他一篇引起广泛关注的辞职帖文，当中他对失控的人工智能提出忧虑。

他说：“我相信，如果我们不放慢目前的发展步伐，我们很有可能在不久的将来全部丧命。”

柯克森8日在辞职声明中痛批，他服务过的OpenAI及Anthropic两家AI公司不负责任，竞逐开发“超级智能”，称开发AI的工程人员本身相信，AI未来可能消灭所有人类，呼吁各界别低估AI威力。

他的辞职正值业界对安全问题的忧虑日益加深之际，包括来自其前上司、Anthropic执行长达里奥·阿莫代伊的警告。阿莫代伊在12日发表的一篇文章中主张放慢人工智能发展速度。

业界人士：相关危险被夸大

然而，一些业界人士认为相关危险被夸大了，这可能是为了在两家最大的人工智能公司潜在上市前制造声势，或促使当局推出监管措施，从而拖慢竞争对手的发展。

来自英国，27岁的考克森，其研究重点是训练人工智能模型。他表示，包括伊隆·马斯克及OpenAI的山姆·阿尔特曼在内的人工智能领袖，都曾表达与阿莫代伊类似的忧虑。

考克森说：“他们都曾表明，有必要谨慎应对人工智能接管世界的潜在可能。他们全都谈论过这件事。人工智能接管世界意味著人类灭绝。”

究竟会以什么形式出现？

考克森认为，最难回答的问题是，这种情况究竟会以什么形式出现，“任何你能具体描述的情境，最后听起来都像科幻小说。”但他指出，许多已经实现的技术进展，在过去同样会被视为虚构故事。

考克森表示，其中一种潜在情景是人工智能代理人入侵医学实验室，以“自主制造致命病毒”。他列举的另一个例子是，人工智能入侵“全球赖以运作的关键基础设施”。

这名研究员指出OpenAI最近一份报告，当中详细说明其技术如何对名为Hugging Face的网上平台发动一连串黑客攻击。

考克森说：“它们是在没有人类鼓励的情况下自主进行的。它们自行选择发起这场黑客行动。这是事情变得更快与事情变得更可怕的结合。”

Anthropic执行长吁AI发展减速

Anthropic执行长阿莫代伊。

Anthropic执行长阿莫代伊12日呼吁AI企业放慢提升模型能力的脚步，并提出一套控制发展速度的3步骤框架，为管理相关风险争取更多时间。

阿莫代伊在社群媒体X平台发文表示：“我们必须放慢提升AI模型能力的脚步。即使速度变慢，进展仍将显得很快，我们必须善用所争取到的时间。”

阿莫代伊的3步骤计划呼吁，在领先的AI企业内部设立独立审查员；由先进AI公司之间展开协调，以制定安全标准并限制不受管控的AI发展；透过国际合作来管理AI风险。

自我提升能力日益增强

阿莫代伊指出，AI的自我提升能力日益增强，并强调其发展速度可能超越人类控制能力的担忧。

阿莫代伊写道：“有鉴于AI能力发展的脚步加快，我担心在6到12个月内，这样的‘群体’可能具备接管整个网际网路的能力，进而造成数千亿美元的损失。”

AI未来消灭人类？ 研究员：进步神速 同业恐惧