Бенчмарк · reasoning

ZebraLogic

0 результатов 0 моделей

ZebraLogic — бенчмарк рассуждений из программно генерируемых логических головоломок с сеткой («головоломки Эйнштейна» / «зебра»), проверяющий у LLM способность к удовлетворению ограничений и дедукции; главная метрика — точность на уровне головоломки, то есть доля полностью верно решённых головоломок (точность на уровне ячеек — более детальная вспомогательная метрика).

Подробнее

Пример: Типовое задание даёт N домов в ряд и несколько категорий признаков (например, питомец, напиток, цвет), в каждой — N различных значений, плюс список подсказок на естественном языке; модель должна вывести единственное распределение всех значений по всем домам, удовлетворяющее всем подсказкам.
Метрика: Две метрики. Точность на уровне головоломки (точное совпадение) = доля головоломок, у которых модель верно заполнила всю сетку; точность на уровне ячеек = доля правильно назначенных отдельных ячеек «дом—признак». Головоломки группируются по размеру сетки / размеру пространства поиска, чтобы показать, как точность масштабируется со сложностью.
Приёмка: Каждая головоломка генерируется решателем ограничений, поэтому имеет ровно одно допустимое решение; структурированный вывод модели (полную сетку) сравнивают с эталоном ячейка за ячейкой. Головоломка засчитывается решённой, только если совпали все ячейки — частичного зачёта на уровне головоломки нет.
Почему важно: Логические головоломки с сеткой требуют многошаговой систематической дедукции, устойчивой к запоминанию и подбору шаблонов, и генерируются процедурно, поэтому их сложно занести в обучающие данные. ZebraLogic обнажает «проклятие сложности» — точность резко падает с ростом пространства поиска —, что делает его чистым тестом настоящего рассуждения и того, насколько реально помогает рассуждение во время вывода (цепочка размышлений / больше вычислений).

Разбор примера

Задача

В ряду стоят 3 дома, пронумерованные от 1 (слева) до 3 (справа). У каждого дома свой питомец (Кот, Собака, Птица) и свой напиток (Чай, Вода, Молоко). Подсказки: 1. В доме 1 держат Кота. 2. Хозяин Кота пьёт Чай. 3. Хозяин Собаки живёт сразу слева от хозяина Птицы. 4. Хозяин Птицы пьёт Молоко. 5. В доме 2 пьют Воду. Определите питомца и напиток для каждого дома.

Решение

- Подсказка 1: дом 1 = Кот. Подсказка 3: Собака сразу слева от Птицы, значит пара (Собака, Птица) занимает дома (2, 3) — дом 1 уже Кот. → дом 2 = Собака, дом 3 = Птица. - Подсказка 2: хозяин Кота (дом 1) пьёт Чай. Подсказка 4: хозяин Птицы (дом 3) пьёт Молоко. Подсказка 5: дом 2 пьёт Воду. - Итог: Дом 1 = Кот, Чай; Дом 2 = Собака, Вода; Дом 3 = Птица, Молоко.

Разбор

Подсказки цепочкой сводятся к единственному вынужденному распределению, поэтому решение уникально — ровно то свойство, которое гарантирует генератор. Оценивается точным совпадением всей сетки с эталоном решателя: все шесть ячеек «дом—признак» здесь верны, поэтому головоломка засчитывается как решённая.

По этому бенчмарку пока нет проверенных результатов.