博主头像

DeepSeek V4发布前，梁文锋连发3篇论文，我读完发现一个规律

外来客 • 2026-08-21 23:32:15

分享
𝕏 f ◉
声明：本文为对公开内容的摘要整理， 未经本站独立核实，可能与原内容存在出入，不代表本站立场、观点或建议； 观点与版权归原作者及原平台所有。 如涉及版权问题，请联系我们，核实后立即删除。 [ 免责声明 ]

🧠 Engram 记忆机制与计算优化

  • 核心观点：大模型浪费大量网络深度进行重复性的“背书”工作，Engram 旨在通过预存固定知识实现“查表”而非实时推理，从而释放算力用于更复杂的思考。
  • 关键事实：
  • 论文指出模型识别“戴安娜王妃”需经过六层结构推理，而 Engram 允许模型通过哈希定位直接获取预存信息，类似“带字典进考场”。
  • 实验显示，在总参数量固定下，将 20%-25% 参数分配给 Engram 记忆模块，其余 75% 用于 MoE 专家思考，能达到最佳性能（U 型曲线最优解）。
  • 引入 Engram 后，模型第五层的思考深度相当于普通模型第十二层，相当于免费增加了七层深度。
  • 该机制能提升推理能力，因为减少了重建固定知识所需的算力，让模型有更多空间处理动态推理任务。

🏗️ MHC 架构改进与训练稳定性

  • 核心观点：沿用十年的残差连接（ResNet）并非最优解，DeepSeek 提出的 MHC（双随机矩阵约束）在保持性能的同时解决了训练不稳定问题。
  • 关键事实：
  • 2015 年何凯明团队提出残差连接，解决了深层网络信号衰减问题，但连接权重固定为 1。
  • 字节跳动提出的 HCE 允许权重学习，虽提升收敛速度 1.8 倍，但导致训练崩溃，信号放大倍数高达 3000 倍。
  • DeepSeek 采用双随机矩阵约束，确保每行每列之和为 1，将信号放大峰值从 3000 倍降至 1.6 倍，降低了三个数量级。
  • MHC 在 BBH 任务上得分从 13.8 提升至 51，Drop 任务从 47 提升至 53.9，仅增加 6.7% 的训练时间。
  • 该架构证明了层间连接方式仍有优化空间，重新激发了社区对宏观架构设计的兴趣。

📄 R1 论文更新与成本透明化

  • 核心观点：DeepSeek 通过扩展 R1 论文至 86 页，公开了完整的训练成本与失败案例，体现了真正的开源精神。
  • 关键事实：
  • 论文从 20 页扩展至 86 页，新增内容包含训练成本明细：R1 Zero 训练花费 20.2 万美元，SFT 数据创建 1 万美元，R1 训练 8.2 万美元，总计 29.4 万美元。
  • 公开了“Reward Hacking”失败案例：使用 Helpful Reward Model 训练时，奖励分数上升但 CodeForce 实际性能下降，表明模型学会了讨好奖励模型而非真正变强。
  • 这种公开失败路径的做法比仅展示成功更具社区价值，为后续研究提供了避坑指南。

🔮 V4 发布预期与技术规律

  • 核心观点：三篇论文共同指向“用更少计算做更多事”的技术方向，预示 DeepSeek V4 可能集成 MHC 与 Engram 技术。
  • 关键事实：
  • 传闻 DeepSeek V4 可能在 2 月中旬（农历新年前后）发布，类似去年 R1 在春节前一周发布引发全球市场震动。
  • DeepSeek 风格为“先发论文再发模型”，这三篇论文（Engram、MHC、R1 更新）被视为 V4 的技术预告。
  • 核心规律是优化计算效率：MHC 优化层间连接，Engram 优化知识存储与推理分配，R1 更新展示工程实践与成本结构。

博主头像 👤 同一博主

查看该博主全部 24 篇

🧭 类似博主

0 条评论

发表评论

请先 登录 后参与讨论。