HarnessOpt-Bench:评估大语言模型的 Harness 优化能力

HuggingFace Daily Papers(社区热门论文)2026-08-06 16:00

HarnessOpt-Bench 发布,用于在昂贵且随机的评估条件下衡量前沿 LLM 的端到端编排优化能力。优化器需在固定评估预算内编辑目标智能体的 harness 并提名最终候选,最终得分基于在不可访问的测试集上相对 seed 的归一化增益。

ai