Benchmark · reasoning
ARC-AGI 2
ARC-AGI 2 (Abstraction & Reasoning Corpus, version 2, organisé sous le nom d'ARC Prize 2025) mesure le raisonnement fluide : déduire une règle abstraite à partir de quelques exemples et l'appliquer à un cas nouveau. Le score est le pourcentage d'énigmes résolues correctement sur un jeu d'évaluation réservé et semi-privé.
En savoir plus
- Exemple
- Une tâche présente quelques paires entrée→sortie sous forme de grilles colorées (une petite grille de cases colorées transformée d'une manière cohérente), et celui qui résout doit deviner la transformation cachée et produire la grille de sortie correcte pour une nouvelle entrée.
- Notation
- Chaque énigme est réussie ou ratée : la grille de sortie produite est comparée à la grille exacte correcte, et le score rapporté est le pourcentage d'énigmes résolues sur le jeu d'évaluation semi-privé.
- Vérification
- Les résultats sont vérifiés automatiquement par correspondance exacte de la grille de sortie — la grille prédite doit correspondre à la réponse case par case — sur un jeu de test semi-privé non publié afin d'éviter la mémorisation.
- Pourquoi c'est important
- Il se concentre sur des énigmes faciles pour les humains mais difficiles pour l'AI, ce qui en fait une mesure très suivie de la véritable abstraction et du raisonnement général, plutôt que des connaissances mémorisées.
Exemple résolu
Tâche
Casse-tête de grille ARC-AGI-2 : déduisez la transformation à partir des paires d'entraînement, puis donnez la grille de sortie pour l'entrée de test (les chiffres 0–9 sont des couleurs ; 0 = fond noir). Entraînement 1 : [[4,0,0,0],[0,0,6,0],[4,0,0,0],[0,0,6,0]] → [[0,0,0,0],[0,0,0,0],[4,0,6,0],[4,0,6,0]]. Entraînement 2 : [[0,3,0,0],[0,0,0,8],[0,3,0,0],[0,0,0,0]] → [[0,0,0,0],[0,0,0,0],[0,3,0,0],[0,3,0,8]]. Test : [[0,0,2,0],[5,0,0,0],[0,0,2,0],[5,0,0,0]] → ?
Solution
[[0, 0, 0, 0],
[0, 0, 0, 0],
[5, 0, 2, 0],
[5, 0, 2, 0]]
Explication
Chaque paire d'entraînement illustre une seule règle — la « gravité » : chaque case colorée tombe tout droit vers les cases libres les plus basses de sa colonne, en conservant sa couleur et son nombre, tandis que le fond (0) remonte. Pour le test, les deux 5 de la colonne 0 et les deux 2 de la colonne 2 se posent sur les deux dernières lignes. ARC-AGI-2 note par correspondance exacte de la grille — dimensions correctes et valeur de chaque case — selon un score pass@2 sur deux essais autorisés.