🎬 从香农的一个比特到ChatGPT:大模型到底是怎么工作的
📊 核心观点 大语言模型的本质是量化并降低“意外”程度,即通过统计概率预测下一个 Token 的分布。 信息量(比特)与事件发生的罕见度成正比,越少见的事件携带的信息越多。 现代 LLM 摒弃了香农早期的查表法,转而使用向量空间表示,使模型能处理未见过的句子并捕捉长距离依赖关系。 🔢 关键事实/论据 信息量化:1948 年香农提出比特概念;公平硬币抛掷结果为 1 比特,8 种可能性中选中其一为 3 比特。 中文统计:《西游记》全书使用 4361 个不同汉字;若均匀分布需 12.1 比特/字,按真实频率计算平均仅 9…