Benchmark · reasoning
ZebraLogic
ZebraLogic est un benchmark de raisonnement composé d'énigmes de grille logique (« d'Einstein »/« zèbre ») générées par programme, qui évalue l'aptitude d'un LLM à la satisfaction de contraintes et à la déduction ; la métrique principale est l'exactitude au niveau de l'énigme, c'est-à-dire la proportion d'énigmes entièrement résolues correctement (l'exactitude au niveau de la cellule étant une métrique secondaire plus fine).
En savoir plus
- Exemple
- Un item typique présente N maisons en ligne et plusieurs catégories d'attributs (par exemple animal de compagnie, boisson, couleur), chacune avec N valeurs distinctes, plus une liste d'indices en langage naturel ; le modèle doit déduire l'unique affectation de chaque valeur à chaque maison qui satisfait tous les indices.
- Notation
- Deux métriques. Exactitude au niveau de l'énigme (correspondance exacte) = fraction des énigmes dont le modèle remplit correctement toute la grille ; exactitude au niveau de la cellule = fraction des cellules individuelles maison–attribut correctement affectées. Les énigmes sont regroupées par taille de grille / taille de l'espace de recherche afin de montrer comment l'exactitude évolue avec la complexité.
- Vérification
- Chaque énigme est générée avec un solveur de contraintes, de sorte qu'elle possède exactement une solution valide ; la sortie structurée du modèle (la grille complète) est comparée cellule par cellule à la vérité de référence. Une énigme n'est comptée comme résolue que si toutes les cellules correspondent — pas de crédit partiel au niveau de l'énigme.
- Pourquoi c'est important
- Les énigmes de grille logique exigent une déduction systématique en plusieurs étapes qui résiste à la mémorisation et à la reconnaissance de motifs, et elles sont générées de façon procédurale, si bien qu'elles fuient difficilement dans les données d'entraînement. ZebraLogic met au jour la « malédiction de la complexité » — l'exactitude chute fortement à mesure que l'espace de recherche grandit — ce qui en fait une sonde nette du raisonnement authentique et de l'utilité réelle du raisonnement au moment de l'inférence (chaîne de pensée / davantage de calcul).
Exemple résolu
Tâche
Il y a 3 maisons en ligne, numérotées de 1 (gauche) à 3 (droite). Chaque maison a un animal différent (Chat, Chien, Oiseau) et une boisson différente (Thé, Eau, Lait).
Indices :
1. La maison 1 possède le Chat.
2. Le propriétaire du Chat boit du Thé.
3. Le propriétaire du Chien habite immédiatement à gauche du propriétaire de l'Oiseau.
4. Le propriétaire de l'Oiseau boit du Lait.
5. Dans la maison 2, on boit de l'Eau.
Déterminez l'animal et la boisson de chaque maison.
Solution
- Indice 1 : maison 1 = Chat. Indice 3 : le Chien est immédiatement à gauche de l'Oiseau, donc le couple (Chien, Oiseau) occupe les maisons (2, 3) — la maison 1 est déjà le Chat. → maison 2 = Chien, maison 3 = Oiseau.
- Indice 2 : le propriétaire du Chat (maison 1) boit du Thé. Indice 4 : le propriétaire de l'Oiseau (maison 3) boit du Lait. Indice 5 : la maison 2 boit de l'Eau.
- Résultat : Maison 1 = Chat, Thé ; Maison 2 = Chien, Eau ; Maison 3 = Oiseau, Lait.
Explication
Les indices s'enchaînent vers une unique affectation forcée, donc la solution est unique — exactement la propriété que garantit le générateur. La notation se fait par correspondance exacte de toute la grille avec la vérité de référence du solveur : ici, les six cellules maison–attribut sont correctes, donc l'énigme est comptée comme résolue.
Aucun score vérifié pour ce benchmark à ce jour.