Benchmark · reasoning

DROP

saturated 0 résultats 0 modèles

DROP (Discrete Reasoning Over Paragraphs) est un benchmark de compréhension de lecture d'environ 96 000 questions issues du crowdsourcing sur des passages de Wikipedia qui exigent un raisonnement discret sur le texte — arithmétique, comptage, tri et comparaison —, évalué par correspondance exacte (EM) et un F1 macro-moyenné sensible aux nombres.

Exemple: Un court passage (souvent le compte rendu d'un match de NFL ou un article d'histoire) accompagné d'une question à laquelle on ne peut pas répondre en copiant un seul fragment : par exemple soustraire deux quantités mentionnées dans le texte, compter combien d'événements d'un type donné se sont produits, ou ordonner des entités pour déterminer laquelle vient en premier ou en dernier.
Notation: Deux métriques, macro-moyennées sur toutes les questions : correspondance exacte (EM : la prédiction normalisée égale la réponse de référence) et F1 (recouvrement de tokens en sacs de mots entre prédiction et référence ; pour les réponses à plusieurs fragments, ceux-ci sont alignés de façon optimale un à un). Elle est sensible aux nombres : si un nombre de la réponse ne correspond pas exactement à celui de référence, ce F1 vaut 0. La réponse de référence peut être un nombre, un ou plusieurs fragments de texte, ou une date.
Vérification: Les prédictions sont notées face à l'ensemble des réponses de référence par le script d'évaluation officiel de DROP après normalisation (minuscules ; suppression des articles, de la ponctuation et des espaces superflus), en prenant le meilleur score parmi toutes les réponses admissibles. Les classements publics rapportent l'EM et le F1 sur une partition de test cachée.
Pourquoi c'est important: Contrairement aux jeux de données d'extraction de fragments, DROP oblige à composer plusieurs faits par des opérations symboliques (addition, soustraction, comptage, comparaison), ce qui révèle si un modèle raisonne réellement de façon numérique sur le texte plutôt que d'apparier un motif à un seul fragment. Il a été construit de manière adverse — en conservant les questions qu'un lecteur de référence solide échouait — et reste une sonde standard du raisonnement discret et numérique.

Exemple résolu

Tâche

Passage : « The Broncos ont ouvert le score avec un field goal de 24 yards ; the Chargers ont répondu par un touchdown au sol de 5 yards ; avant la mi-temps The Broncos ont ajouté un field goal de 43 yards et the Chargers ont réussi un touchdown à la passe de 12 yards. » Question : « De combien de yards le field goal le plus long des Broncos dépassait-il leur field goal le plus court ? »

Solution

Repérez les deux field goals des Broncos : 24 et 43 yards. Soustrayez le plus court du plus long : 43 − 24 = 19. Réponse finale : 19 (nombre).

Explication

La réponse n'est pas un fragment du passage : il faut la dériver en sélectionnant les deux field goals des Broncos et en soustrayant — exactement l'arithmétique discrète que vise DROP. Notation : le nombre prédit doit correspondre exactement à la référence 19, ce qui donne EM = 1 et F1 = 1 (le contrôle numérique est validé).

Aucun score vérifié pour ce benchmark à ce jour.