DeepAmbigQA:用于评测 LLM 答案完整性的歧义多跳问答基准

Apple Machine Learning Research(RSS)2026-08-06 16:00

苹果研究团队推出 DeepAmbigQA,一个用于评测大语言模型答案完整性的歧义多跳问答基准。该基准聚焦"同名电影《盗火线》中哪位演员获得过奥斯卡奖"这类复杂问题,要求模型同时区分同名实体并跨大量实体进行多跳推理。研究团队还发布了自动数据生成流程 DEEPAMBIGQAGEN,以构建此类评测数据。

ai