Ara Khan：评估体系虽存缺陷，仍应坚持使用

外来客 • 2026-08-30 03:24:53

声明：本文为对公开内容的摘要整理，未经本站独立核实，可能与原内容存在出入，不代表本站立场、观点或建议；观点与版权归原作者及原平台所有。如涉及版权问题，请联系我们，核实后立即删除。 [ 免责声明 ]

（原标题：AI Dev 26 x SF | Ara Khan: Evals Are Broken Use Them Anyway）

Terminal Bench 案例：包含 89 个贴近真实软件工程的任务（如数据库问题、竞态条件、前端 Bug），通过隔离容器化环境运行，单次任务耗时可达 30-45 分钟。
评估维度：需追踪轮次、工具调用次数、Token 消耗及总耗时，以平衡性能与成本，例如使用低成本模型替代昂贵前沿模型。
三大测试对象：
模型本身：验证其基础能力。
Harness（脚手架）：Agent 的代码结构可能限制模型发挥，需优化工具链（如文件编辑、浏览器工具）。
问题集：确保评估任务与真实业务场景对齐。
失败分析：通过大规模运行评估，将失败归类为“读取文件失败”、“安装依赖失败”等宏观桶，从而定位具体工具或逻辑缺陷。
基础设施：使用 Modal 等基础设施实现并行容器化运行，避免任务间环境干扰，提升评估效率。
过拟合表现：修改提示词以通过特定任务、添加奇怪的技能以迎合指标，而非提升通用能力。
实践案例：Klein 团队花费数月专注于评估工作，每次新模型发布时都会运行评估以优化体验，并发现开源模型中许多被忽视的细微优势，这些模型不仅性能出色且成本更低。