英伟达说你不需要长上下文，但别高兴得太早 | 长上下文 | 英伟达 | 上下文压缩 | EoCC |

外来客 • 2026-11-10 19:16:45

声明：本文为对公开内容的摘要整理，未经本站独立核实，可能与原内容存在出入，不代表本站立场、观点或建议；观点与版权归原作者及原平台所有。如涉及版权问题，请联系我们，核实后立即删除。 [ 免责声明 ]

成本差异：在 H100 GPU 上，将上下文窗口从 16K 扩至 256K，每百万输出 token 成本增加 3.6 倍（Kimi K2.6）至 7 倍（Qwen3 Coder Next）。
压缩策略：提出 EoCC（对话结束压缩）与 SAC（单动作压缩）。EoCC 将上下文维持在 16K-48K，精度波动在 -5.6% 以内，估算成本节省 2.2-8.8 倍；SAC 使峰值上下文降至 7K-9K，部分任务精度持平或提升。
选择性读取：将长输入存为文件，利用 grep/sed 等工具按需检索。在 7 种基准测试中，召回率从约 63% 提升至 96%，主要优势源于跳过全量检索环节而非压缩本身。
局限性：成本节省基于分级定价假设，现行固定单价下名义成本可能上升；长输入基准偏向事实定位任务，未覆盖需整体理解的场景；SSSM 目前仅为概念，缺乏实际训练验证。