博主头像

AI不确定性的数学原理​ | 贝叶斯法则 | 机器学习 | 深度学习 | 祖宾·加赫拉马尼 | 谷歌

外来客 • 2026-09-08 17:23:03

分享
𝕏 f ◉
声明：本文为对公开内容的摘要整理， 未经本站独立核实，可能与原内容存在出入，不代表本站立场、观点或建议； 观点与版权归原作者及原平台所有。 如涉及版权问题，请联系我们，核实后立即删除。 [ 免责声明 ]

🧠 智能与不确定性的本质

  • 祖宾·加赫拉马尼指出，任何智能系统的核心是决策，而现实世界中感知有限且未来不可预测，因此必须在不确定性中做出判断。
  • 机器需要具备对自身局限的自我意识，例如自动驾驶汽车在无法确定前方物体时，最合理的反应是减速而非强行通过。
  • 从数学角度看，不同形式的不确定性可以映射到概率上，并通过概率论规则进行操作和更新，这是智能系统处理信息的基础框架。

📊 贝叶斯法则与认知机制

  • 贝叶斯法则是概率论中简洁而迷人的概念，用于表示信念并随证据更新：先验信念乘以似然度后重新归一化，得到后验信念。
  • 人类认知科学一直使用不确定性和概率框架来理解感知与决策，例如通过进化形成的感官结合先验信念推断未见过的物体特征。
  • 信息在计算机科学中被定义为让不确定性减半的东西，收集信息的过程本质上是减少不确定性的过程，这与贝叶斯更新逻辑一致。

🤖 AI系统的局限与挑战

  • 当前大语言模型虽然基于概率预测下一个词，但并未显式地计算贝叶斯法则，其“确信度”往往是对训练数据中推理轨迹的模仿而非真实推理。
  • 神经网络内部难以找到概率的显式表示，信念散布在数十亿神经元的激活值中，导致系统可能表现出过度自信或错误的一致性。
  • 语义熵（Semantic Entropy）是一种从模型内部状态推断信念程度的方法，低熵分布代表高确定性，高熵分布代表不确定性，但仍依赖数据而非真正推理。

🌍 实际应用与未来方向

  • 在天气预报中，谷歌DeepMind利用扩散模型生成预报集合，通过贝叶斯更新思路追踪飓风路径，加入不确定性反而提高了预测准确性。
  • 蛋白质结构预测使用颜色标注置信度，承认物理摆动和模型误差带来的不确定性，避免过度自信的错误折叠预测。
  • 理想AI系统应像星际迷航中的Data一样理性，能随时间积累知识并诚实传达不确定性，尤其在医疗等生死攸关的决策场景中至关重要。

⚖️ 算力、能效与架构演进

  • 构建完全理性的概率系统在计算上曾不可行，需巨型超算且耗时极长，但如今手机算力已超越当年的并行计算机，使得重新审视这些想法成为可能。
  • 人类大脑功耗仅约20瓦（相当于一个灯泡），而大模型训练能耗巨大，能效差距达数量级，提示新架构如稀疏神经网络或软硬件协同演化的必要性。
  • 贝叶斯思维有助于解决持续学习中的灾难性遗忘问题，通过不断用数据点更新先验，理论上可实现无遗忘的终身学习。

博主头像 👤 同一博主

查看该博主全部 151 篇

🧭 类似博主

0 条评论

发表评论

请先 登录 后参与讨论。