Benchmark · reasoning
ARC-AGI 1
ARC-AGI 1 mesure le raisonnement abstrait et la généralisation : chaque tâche montre quelques exemples de grilles entrée→sortie, et celui qui résout doit déduire la règle de transformation cachée et produire la bonne grille de sortie pour une nouvelle entrée. La métrique est le pourcentage de tâches résolues avec une grille de sortie exactement identique.
En savoir plus
- Exemple
- Une tâche peut présenter deux ou trois petites grilles colorées où chaque entrée devient sa sortie selon une même règle — par exemple remplir chaque région fermée ou refléter une forme — et il faut appliquer cette règle déduite à une nouvelle grille jamais vue.
- Notation
- Une tâche n'est comptée comme résolue que si la grille produite correspond case par case à la réponse de référence ; le score final est la fraction (pourcentage) de tâches résolues sur tout l'ensemble d'évaluation.
- Vérification
- La vérification est automatique et exacte : la grille de sortie soumise est comparée case par case à la grille correcte, sans crédit partiel ni vote humain.
- Pourquoi c'est important
- Les énigmes sont conçues pour être faciles pour les humains mais difficiles pour les modèles qui s'appuient sur des motifs mémorisés, si bien que le benchmark évalue une vraie abstraction et une généralisation à partir de peu d'exemples plutôt que des connaissances mémorisées — ce qui en fait une mesure très suivie des progrès vers une IA plus générale.
Exemple résolu
Tâche
ARC-AGI 1 montre quelques démonstrations de grilles entrée→sortie, puis une entrée de test cachée ; vous devez déduire la transformation et dessiner la grille de sortie exacte (les cases sont des couleurs 0-9, 0=noir). Ici les démos révèlent une règle auto-fractale : chaque grille 3×3 s'agrandit en 9×9, en estampant une copie de toute la grille là où une case est colorée et un bloc 3×3 vide là où elle vaut 0. Entrée de test (3×3) :
0 8 0 / 8 8 8 / 0 8 0 (une croix de couleur 8).Solution
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
0 8 0 0 8 0 0 8 0
8 8 8 8 8 8 8 8 8
0 8 0 0 8 0 0 8 0
0 0 0 0 8 0 0 0 0
0 0 0 8 8 8 0 0 0
0 0 0 0 8 0 0 0 0
Explication
Les cases de couleur 8 se trouvent aux milieux des quatre côtés et au centre de la croix ; estamper la croix exactement dans ces cinq blocs 3×3 (et laisser les quatre coins vides) construit la fractale 9×9. ARC-AGI ne note qu'une correspondance exacte case par case — une seule case fausse échoue la tâche, avec jusqu'à 2 tentatives autorisées.