Бенчмарк · math
GSM8K
GSM8K (Grade School Math 8K) — это набор школьных математических задач-историй, для решения каждой из которых нужно несколько шагов арифметических рассуждений; модель оценивается по доле задач, где её итоговый числовой ответ верен.
Подробнее
- Пример
- Короткая текстовая задача вроде «Наталья продала заколки 48 подругам в апреле и вдвое меньше в мае; сколько заколок она продала всего?» — модель должна пройти все шаги и назвать итоговое число.
- Метрика
- Оценка — это accuracy (точность): доля задач, у которых итоговый числовой ответ в точности совпадает с эталонным; промежуточные рассуждения не оцениваются, только финальное число.
- Приёмка
- Проверка автоматическая и по точному совпадению: итоговое число модели извлекается (обычно после разделителя вроде «####») и сравнивается с эталонным ответом, так что участие человека не нужно.
- Почему важно
- Он стал стандартным и легко проверяемым тестом многошаговых рассуждений, а известный приём подсказок chain-of-thought заметно улучшал результаты на нём, сделав его частым мерилом способности рассуждать.
Разбор примера
Задача
У Марии 3 коробки карандашей, по 24 карандаша в каждой. Она отдаёт 15 карандашей брату, а затем покупает ещё 2 полные коробки. Сколько карандашей у неё теперь?
Решение
3 × 24 = 72; 72 − 15 = 57; 2 × 24 = 48; 57 + 48 = 105 → 105
Разбор
Умножаем, чтобы получить исходное количество, вычитаем отданное и прибавляем купленные коробки: 72 − 15 + 48 = 105. GSM8K оценивает только итоговое число, извлечённое после разделителя '####', по точному совпадению, поэтому шаги рассуждения не оцениваются — засчитывается лишь 105.