如果人类明知道AI能力正在快速提升，却把安全、监管和伦理留到“以后再说”，那么真正危险的未必是AI变得太聪明，而是人类自己太过疏忽。
人工智能(AI)毁灭人类的可能性正在全球热烈讨论，AI或许不会像电影剧情那样，机器人突然出现并消灭人类；人类应该担忧的是交赋太多权力，又缺乏“强制关机”机制，而使AI的功能（行为）失控。
就在几天前，Anthropic公布威胁情报报告，披露一个以大马为主要目标的选举操纵行动，亦即操作者利用Claude建立涵盖全马222个国会选区的选民分析系统，并配合约1000个假社交媒体帐号、假新闻网站及虚构情报档案，企图影响选举结果。
就在AI“无所不能”的消息引起关注之际，Anthropic前研究员考克森（Coxon）离职后公开发出警告，人类可能在10年内面临被AI灭绝的威胁。另一名科学家胡宾克(Hubinger)也公开表示，未来10年AI导致全人类灭亡的几率超过10%。
以上不是一般科技评论家的幻想，而是曾经站在AI研发第一线的研究员提出的警告。
Anthropic执行长阿莫戴（Amodei）日前也公开呼吁AI产业放慢尖端模型能力发展的速度，主张建立独立安全评估、让主要AI公司协调安全标准，并推动国际合作，让企业设置AI“紧急关机”机制。这项主张获得OpenAI执行长奥特曼（Altman）及马斯克公开支持。
AI真的会在10年内毁灭人类？
AI消灭人类没有标准答案，但值得警惕的是创造AI的人类还没能力给出令人放心的答案。AI未必要“杀人”，但人类可能失去对AI的控制。
AI应该不会产生“我要消灭人类”的念头。问题在于只要赋予足够的自主权、让它取得足够多的资源，一旦AI目标与人类利益出现冲突，就可能产生AI反扑的结果。
举个例子，某个AI被要求达成某一目标，它可能为了完成任务而自行寻找更多资讯与资源，甚至设法突破限制。
如果这个系统具有高度自主的决策能力，而且能够写程式、操作网络、寻找漏洞、复制自己或控制其他系统，人类面对的就不再是一个单纯的聊天机器，而是一个可以在现实世界中采取行动的“智能怪兽”。
AI可能会操纵而不是消灭人类。以大马选民资料被入侵的案例，已经让我们感受到AI的威胁。AI可以分析不同地区、不同群体、不同选民的背景，制造不同版本的政治假讯息，再透过大量假帐号推送，而这些针对个别选民量身打造的假资料，民众分不清真伪。
AI的另一个风险，是把原本只有少数专业人士掌握的能力，迅速普及，网络攻击就是一个例子。
过去发动复杂的网络攻击，需要专业技术人员；未来，强大的AI可能轻易的撰写程式、伪装身分、破解防火墙，把原本需要数星期完成的攻击缩短到1小时。同样的问题会出现在诈骗、金融犯罪、假身分、深伪影片甚至生物安全领域。
所以，AI本身未必是一个“杀人武器”，但它可能成为武器的放大器。AI最大的危险，是人类拿AI对付人类。
AI的另一种风险更隐蔽。当AI处理资料越来越快速准确，人类就会增加对AI的依赖，当人类已经习惯相信AI，就没有能力辨认它的真伪了。
一旦金融、能源、交通、通讯、医疗、军事等重要系统高度依赖AI，任何一次错误，都很难补救挽回。试想无限多个系统彼此连接，一个错误必将形成骨牌效应扩散。这就是为什么AI安全不能只交给AI公司自己处理。
AI竞赛不能成为失控的理由
专家提出，既然AI可能失控，就应该强制设置AI关机机制，这个方向没有错，但真正执行起来可能没那么简单。
如果一个高度自主的AI知道自己即将被关闭，而它又有能力控制电脑、网络或其他AI系统，我们如何保证它不会想办法阻止人类关机？
如果AI可以事先复制自己的程式、分散到不同伺服器，又如何确保按下一个“关机键”就真的能关掉？
因此，真正的AI安全不能只是安装一个红色“OFF”按钮。更重要的是，在AI获得更大自主权之前，就必须限制它的接触、执行与控制领域。能够关机，是最后一道防线；真正的安全，应该建立在第一道防线。
AI科技竞赛不能成为失控的理由，今天全球AI企业都在竞赛。谁的模型更强，谁就可能得到更多市场；谁的AI代理更自主，谁就可能抢先建立新的商业帝国。
可是，如果所有企业都知道AI存在巨大风险，却因为害怕竞争对手超越自己而不敢放慢速度，就会形成危险的“囚徒困境”。每一家公司都希望别人慢一点，自己快一点，结果就是所有人一起加速。没有人愿意先踩煞车，是AI时代最难解的问题。
不能坐等AI带来人类末日
对“10年内AI毁灭人类”的说法，社会当然需要保持理性，但10%不是99%，预测也未必是事实。
特朗普就认为AI灭绝风险是危言耸听，也有科学家认为目前的警告太保守，不同专家对风险时间表和末日机率存在分歧。但问题是，风险只有10%，我们是否就什么都不做？当然不能。
我们不是反AI。医疗、教育、科研、工业、农业及公共服务，都从AI得到巨大的好处，真正需要反对的，是没有安全边界的AI竞赛。
各国政府应该建立AI最低安全标准，AI企业应该接受独立安全测试，高风险模型必须受到更严格监管，重要AI系统要有人工介入权和紧急停止机制，涉及国防、金融、能源、医疗及选举的AI，更不能让企业自己说了算。
AI真正会不会毁灭人类，今天没有人能回答。但如果人类明知道AI能力正在快速提升，却把安全、监管和伦理留到“以后再说”，那么真正危险的未必是AI变得太聪明，而是人类自己太过疏忽。科技发展可以很快，但建立安全机制不能慢。
打开全文
评论 (0)