大模型每个参数能记忆多少东西？| ICML 2026 | 3.6比特 | Transformer |

外来客 • 2026-08-18 00:56:30

声明：本文为对公开内容的摘要整理，未经本站独立核实，可能与原内容存在出入，不代表本站立场、观点或建议；观点与版权归原作者及原平台所有。如涉及版权问题，请联系我们，核实后立即删除。 [ 免责声明 ]

容量量化：在 BF16 精度下，Transformer 模型平均每个参数约存储 3.64 比特信息；FP32 精度下约为 3.83 比特。该数值为特定架构与训练方法下的经验下限。
实验设计：通过训练 50 万至 15 亿参数的模型处理均匀随机比特串，排除泛化变量，证实模型容量与参数量呈线性关系。
相变现象：在真实文本（5M 数据集）实验中，当训练集大小超过模型容量临界点时，非预期记忆停止增长并下降，泛化能力快速上升。
双下降解释：测试损失先降后升再降的“双下降”现象，恰好发生在数据量开始超过模型容量的临界点。
成员推断风险：推断效果取决于模型容量与训练集大小的比值。稀有样本（如非英语文本、独特文档）比常见样本更容易被记住和识别，即使整体抽取率为零，成员推断仍可能有效。