Бенчмарк · reasoning

DROP

saturated 0 результатов 0 моделей

DROP (Discrete Reasoning Over Paragraphs) — бенчмарк по машинному чтению: около 96 тыс. краудсорсинговых вопросов к статьям Wikipedia, требующих дискретных рассуждений над текстом — арифметики, подсчёта, сортировки и сравнения; оценивается точным совпадением (EM) и учитывающим числа макроусреднённым F1.

Подробнее

Пример: Короткий фрагмент (часто отчёт о матче NFL или историческая статья) и вопрос, на который нельзя ответить простым копированием одного фрагмента: например, вычесть две названные в тексте величины, посчитать число событий определённого типа или упорядочить объекты, чтобы понять, что было первым или последним.
Метрика: Две метрики, макроусреднённые по всем вопросам: точное совпадение (EM — нормализованный ответ совпадает с эталоном) и F1 (перекрытие токенов как мешков слов между предсказанием и эталоном; при нескольких фрагментах они оптимально сопоставляются друг с другом). Метрика учитывает числа: если число в ответе не совпадает точно с эталонным, этот F1 равен 0. Эталонный ответ может быть числом, одним или несколькими текстовыми фрагментами либо датой.
Приёмка: Предсказания сверяются с набором эталонных ответов официальным скриптом DROP после нормализации (нижний регистр; удаление артиклей, пунктуации и лишних пробелов); берётся лучший результат среди всех допустимых эталонов. В публичных рейтингах указывают EM и F1 на скрытой тестовой выборке.
Почему важно: В отличие от датасетов на извлечение фрагментов, DROP требует объединять несколько фактов символьными операциями (сложение, вычитание, подсчёт, сравнение) и потому показывает, действительно ли модель рассуждает над числами в тексте, а не подбирает готовый фрагмент. Его собирали состязательно, оставляя вопросы, на которых ошибалась сильная базовая модель, и он остаётся стандартной проверкой дискретных и числовых рассуждений.

Разбор примера

Задача

Фрагмент: «The Broncos набрали первыми, реализовав field goal с 24 ярдов; the Chargers ответили выносным touchdown с 5 ярдов; перед перерывом The Broncos добавили field goal с 43 ярдов, а the Chargers провели пасовый touchdown на 12 ярдов». Вопрос: «На сколько ярдов более длинный field goal у Broncos был длиннее их более короткого field goal?»

Решение

Найдём два field goal у Broncos: 24 и 43 ярда. Вычтем меньший из большего: 43 − 24 = 19. Итоговый ответ: 19 (число).

Разбор

Ответа нет в тексте как готового фрагмента: его нужно вывести, выбрав два field goal команды Broncos и выполнив вычитание, — именно на такую дискретную арифметику нацелен DROP. Оценивание: предсказанное число должно точно совпасть с эталоном 19, что даёт EM = 1 и F1 = 1 (проверка чисел пройдена).

По этому бенчмарку пока нет проверенных результатов.