Une enquête en cours publiée en mars 2026 analyse 82 approches à travers trois versions du benchmark Abstraction and Reasoning Corpus (ARC-AGI). L'étude révèle que si les meilleurs modèles comme Opus 4.6 atteignent 93,0 % de précision sur ARC-AGI-1, la performance chute à 68,8 % sur ARC-AGI-2 et à 13 % sur ARC-AGI-3.
- Une dégradation des performances de 2 à 3 fois est constante entre les versions 1 et 2 pour les paradigmes de synthèse de programme, neuro-symbolique et neural.
- Les coûts de test ont chuté de 390x en un an, passant de 4 500 $/tâche pour o3 à 12 $/tâche pour GPT-5.2, bien que cela reflète une réduction du parallélisme au moment du test.
- Les entrées soumises sous contraintes Kaggle avec 660M à 8B de paramètres obtiennent des résultats compétitifs, soutenant la thèse selon laquelle l'intelligence est l'efficacité de l'acquisition de compétences.
- Les gagnants du ARC Prize 2025 ont nécessité des centaines de milliers d'exemples synthétiques pour atteindre seulement 24 % sur ARC-AGI-2.
Les auteurs concluent que le raisonnement compositionnel et l'apprentissage interactif restent des défis non résolus, les systèmes actuels restant liés aux connaissances plutôt que de démontrer une véritable intelligence fluide.