🎬 AI的底层真相:1100个大模型指向同一子空间 | 通用权重子空间假设 | LoRA | HOSV
🧠 核心观点与理论框架 通用权重子空间假设(UWSH):约翰·霍普金斯大学团队提出,不同任务训练的大模型在数学结构上趋向于同一个低维形状,即“通用子空间”。 架构依赖性:该现象严格限定在共享架构内部。研究并非对比所有随机模型,而是基于特定体系内的权重变化分析。 内在维度收敛:引用 Meta AI 2021年关于语言模型微调的研究指出,预训练规模越大,微调所需的内在维度反而越小,这是由损失曲面的二阶曲率(海森矩阵)决定的几何必然。 📊 关键事实与实验数据 样本构成:研究涵盖1200多个神经网络,包括500个 Mist…