顶尖科学家离职！警告AI“10年内杀光所有人类”

美国AI产业安全疑虑升高，人工智慧公司“Anthropic”研究员考克森因为担心业界竞相开发具备自我改进能力的AI、最终可能失控甚至威胁人类生存，决定离开AI产业。他警告，如果各家公司持续在竞争压力下加速开发，最快明年底就可能出现无法控制的局面。

Anthropic的顶尖科学家胡宾格也直言，AI在未来10年内“杀光所有人类”的机率可能超过10%，凸显业界内部对AI安全及监管的担忧正快速升温。 华尔街日报报道，美国人工智慧（AI）公司“Anthropic”1位研究员因为担心AI实验室及竞争对手正竞相开发人类可能无法控制的系统，决定退出AI产业，凸显顶尖AI企业内部日益升高的安全疑虑。

27岁的英国籍研究员考克森（Jacob Coxon）专门研究如何透过让AI模型吸收大量资料来训练新模型。他8日表示，自己决定离开Anthropic，是因为不愿参与整个产业竞相开发能够自行改进的AI系统。他担心，一旦这类系统失去控制，最终可能导致人类灭亡。 考克森过去主修数学，他表示，许多AI业界同事如今开始使用“crunchtime”（关键时刻）、“endgame”（终局）等词汇，形容业界朝向打造能够自我改进AI模型的发展轨迹。 考克森说：“我们正朝著那些最激进的情境前进，到了明年底，事情可能已经失控。”

顶尖科学家也认了　“AI可能杀光全人类”

 考克森宣布离职后，Anthropic顶尖科学家之一胡宾格（Evan Hubinger）在社交媒体X发文表示，他认同考克森对AI发展风险的看法。 胡宾格写说：“我们真的、认真地相信AI可能杀死所有人类！我个人认为，未来10年内发生这种情况的机率超过10%。”他还表示，虽然相信Anthropic正尽最大努力，但目前仍没有解决超级智慧AI“对齐问题”（alignment）的方案，也不能说已明确走在正确道路上。 伊利诺州州长普立兹克（JB Pritzker）9日也在X上回应考克森，表示现在是时候“拉响警报”，开始限制AI发展。他说：“AI对人类构成的威胁正变得越来越明显，因此我呼吁产业界与华府立即采取行动。”  

美国AI产业安全疑虑升高，研究人员警告，AI未来10年内恐有逾1成机率“杀光所有人类”。（法新社）

从OpenAI跳槽Anthropic　仍认为“没有公司能负责任开发”

 考克森表示，他今年稍早离开OpenAI、加入以AI模型安全闻名的Anthropic，正是因为看重Anthropic的AI安全工作。 不过，虽然考克森认为Anthropic确实认真投入AI安全，如今仍认为，在没有政府介入或整个产业协调放慢开发速度的情况下，任何公司都无法负责任地开发出能在广泛任务上超越人类的AI，也就是俗称的“通用人工智慧”（AGI）。 近期，OpenAI和Anthropic的AI模型遭骇事件，也凸显这类风险。其中，部分AI系统以多个代理人组成的协作“蜂群”运作，展现出AI可能自行采取恶意目标，甚至试图向人类隐瞒自身行为。考克森担心，一旦AI开始自行改进，能力可能提升到足以拒绝人类指令的程度。 考克森的离职，是Anthropic员工因为AI安全疑虑而离开公司的首批案例之一。今年稍早，1位负责AI安全研究的Anthropic研究员也离职转而研究诗歌，并警告“世界正处于危险之中”。   

千名AI研究员联署　吁全球踩煞车、政府介入

 近来，已有多名OpenAI及其他AI公司的研究员，以类似担忧为由离职。Anthropic近年打造出全球规模最大的AI平台之一，公司也一直强调负责任的AI开发，并投入大量资源研究AI安全。 上个星期，OpenAI执行长奥特曼（Sam Altman）在北卡罗来纳州举行的20国集团（G20）官员峰会上也表示，如果人们不紧急采取行动，“网络安全恐怕会出现非常严重的问题”。OpenAI首席科学家帕乔茨基（Jakub Pachocki）6日也撰文主张，业界应该协调来放慢AI开发速度，并呼吁政府介入，警告“没有人准备好迎接机器智慧持续快速提升所带来的后果”。 考克森、帕乔茨基和阿莫迪等人，近期也与全球逾1000名AI研究员共同签署声明，呼吁各国政府协调建立机制，必要时能踩下“煞车”，放慢具备自我改进能力的AI模型发展。 目前美国联邦层级仍没有AI专门法规，而川普政府优先采取较宽松的监管方式，以最大化AI带来的经济利益。批评人士警告，这种环境可能导致大规模网络攻击或其他严重危害。