La compétition ARC Prize 2025 visait le nouvel ensemble de données ARC-AGI-2, attirant 1 455 équipes et aboutissant à un score maximal de 24 % sur l'ensemble d'évaluation privé. Le thème déterminant des résultats de 2025 est l'émergence de boucles de raffinement, qui impliquent une optimisation itérative de programmes par tâche guidée par des signaux de rétroaction.

  • Les méthodes les plus performantes ont utilisé la synthèse évolutive de programmes ou des raffinements au niveau applicatif pour les systèmes d'IA commerciaux.
  • Les méthodes d'apprentissage profond sans préapprentissage ont obtenu des performances compétitives avec de petits réseaux de 7 M de paramètres en utilisant le raffinement dans l'espace des poids.
  • Quatre laboratoires de pointe (Anthropic, Google DeepMind, OpenAI et xAI) ont rapporté les performances ARC-AGI dans leurs cartes modèles publiques, établissant ainsi une norme industrielle.
  • L'analyse indique que le raisonnement actuel des IA de pointe reste contraint par la couverture des connaissances, conduisant à de nouvelles formes de contamination des benchmarks.

Le rapport passe en revue ces méthodes et présente en avant-première ARC-AGI-3, qui introduira des défis de raisonnement interactif nécessitant des capacités d'exploration, de planification, de mémoire, d'acquisition d'objectifs et d'alignement.