Benchmark · reasoning

DROP

saturated 0 resultados 0 modelos

DROP (Discrete Reasoning Over Paragraphs) es un benchmark de comprensión lectora con unas 96 mil preguntas de crowdsourcing sobre pasajes de Wikipedia que exigen razonamiento discreto sobre el texto —aritmética, conteo, ordenación y comparación—, evaluado con coincidencia exacta (EM) y un F1 macropromediado sensible a los números.

Ejemplo: Un pasaje breve (a menudo la crónica de un partido de NFL o un artículo de historia) junto a una pregunta que no se responde copiando un solo fragmento: por ejemplo, restar dos cantidades mencionadas en el texto, contar cuántos eventos de cierto tipo ocurrieron u ordenar entidades para decidir cuál fue primera o última.
Puntuación: Dos métricas, macropromediadas sobre todas las preguntas: coincidencia exacta (EM: la predicción normalizada es igual a la respuesta de referencia) y F1 (solapamiento de tokens como bolsas de palabras entre predicción y referencia; con varios fragmentos, se alinean de forma óptima uno a uno). Es sensible a los números: si un número de la respuesta no coincide exactamente con el de referencia, ese F1 es 0. La respuesta de referencia puede ser un número, uno o varios fragmentos de texto o una fecha.
Verificación: Las predicciones se puntúan frente al conjunto de respuestas de referencia con el script oficial de evaluación de DROP tras normalizar (minúsculas; eliminar artículos, puntuación y espacios sobrantes), tomando la mejor puntuación entre todas las respuestas válidas. Las tablas públicas informan EM y F1 sobre una partición de prueba oculta.
Por qué importa: A diferencia de los conjuntos de extracción de fragmentos, DROP exige combinar varios hechos con operaciones simbólicas (sumar, restar, contar, comparar), por lo que revela si un modelo razona de verdad con números sobre el texto en vez de emparejar patrones a un único fragmento. Se construyó de forma adversaria —conservando preguntas que un lector base fuerte fallaba— y sigue siendo una prueba estándar de razonamiento discreto y numérico.

Ejemplo resuelto

Tarea

Pasaje: «The Broncos abrieron el marcador con un field goal de 24 yardas; the Chargers respondieron con un touchdown por tierra de 5 yardas; antes del descanso The Broncos sumaron un field goal de 43 yardas y the Chargers lanzaron un touchdown de 12 yardas». Pregunta: «¿Cuántas yardas más largo fue el field goal más largo de los Broncos que su field goal más corto?»

Solución

Identifica los dos field goals de los Broncos: 24 y 43 yardas. Resta el más corto del más largo: 43 − 24 = 19. Respuesta final: 19 (número).

Explicación

La respuesta no es un fragmento del pasaje: hay que derivarla seleccionando los dos field goals de los Broncos y restando, justo la aritmética discreta que persigue DROP. Calificación: el número predicho debe coincidir exactamente con la referencia 19, lo que da EM = 1 y F1 = 1 (se supera la comprobación numérica).

Aún no hay puntuaciones verificadas para este benchmark.