01
最近，英伟达发了篇官方的大模型推理指南，结果翻着翻着，硬是让人看成了一本华人团队的论文合集。
事情是这样的。
9月2日，英伟达技术博客上线了一篇长文《用投机解码做AI模型协同设计》。
文章的核心就是一张选型表，把目前最主流的6种推理加速方案一字排开，连训练成本、适用场景都给你扒得干干净净。
它的分量在于，这是芯片霸主极其罕见地以官方姿态，把「模型该怎么贴着硬件物理极限去设计」写成了规范。
0最近，英伟达发了篇官方的大模型推理指南，结果翻着翻着，硬是让人看成了一本华人团队的论文合集。
事情是这样的。
9月2日，英伟达技术博客上线了一篇长文《用投机解码做AI模型协同设计》。
文章的核心就是一张选型表，把目前最主流的6种推理加速方案一字排开，连训练成本、适用场景都给你扒得干干净净。
它的分量在于，这是芯片霸主极其罕见地以官方姿态，把「模型该怎么贴着硬件物理极限去设计」写成了规范。
0
评论 (0)