Benchmark · reasoning
DROP
DROP(Discrete Reasoning Over Paragraphs)是一个阅读理解基准,包含约 9.6 万个针对 Wikipedia 段落的众包问题,需要对文本进行离散推理——算术、计数、排序与比较;以精确匹配(EM)和对数字敏感的宏平均 F1 评分。
了解更多
- 示例
- 一段简短文本(常见的是 NFL 比赛战报或历史文章)配一个无法靠复制单个片段回答的问题:例如把文中提到的两个数量相减、数一数某类事件发生了多少次,或对若干实体排序以判断谁最先或最后。
- 评分方式
- 两项指标,在全部问题上做宏平均:精确匹配(EM,归一化后的预测与标准答案完全相同)和 F1(把预测与标准答案视为词袋计算词元重叠;答案含多个片段时在片段间做最优一一对齐)。它对数字敏感:若答案中的某个数字与标准答案不完全一致,该 F1 记为 0。标准答案可以是一个数字、一个或多个文本片段,或一个日期。
- 验证方式
- 预测先经归一化(转小写;去除冠词、标点和多余空格),再用 DROP 官方评测脚本与标准答案集比对,取所有可接受标准答案中的最高分。公开榜单在隐藏测试集上报告 EM 与 F1。
- 为何重要
- 与片段抽取数据集不同,DROP 需要用符号运算(加、减、计数、比较)组合多个事实,因此能揭示模型是否真正在对文本进行数值推理,而非把模式匹配到单一片段。它以对抗方式构建——保留强基线阅读器答错的问题——至今仍是离散与数值推理的标准探针。
示例解析
任务
段落:「The Broncos 先以 24 码的 field goal 得分;the Chargers 以 5 码的冲球 touchdown 回应;半场前 The Broncos 又添一记 43 码的 field goal,the Chargers 完成一次 12 码的传球 touchdown。」问题:「Broncos 较长的 field goal 比其较短的 field goal 长多少码?」
解答
找出 Broncos 的两记 field goal:24 码和 43 码。用较长者减较短者:43 − 24 = 19。最终答案:19(数字)。
解析
答案并非段落中的现成片段,而需通过选出 Broncos 的两记 field goal 并做减法推导得出——这正是 DROP 针对的离散算术。评分:预测数字必须与标准答案 19 完全一致,从而得到 EM = 1 与 F1 = 1(数字校验通过)。
该 benchmark 暂无已验证的得分。