Un chercheur indépendant a atteint un nouveau score record de 29,4 % sur le benchmark ARC-AGI v2, surpassant le précédent meilleur score de 25 %, en remplaçant la génération de code Python par des instructions en langage naturel évoluant via une architecture de calcul au moment du test évolutionnaire.
Le système utilise Grok-4 pour générer des instructions en anglais simple pour résoudre des tâches de reconnaissance de motifs abstraits, qui sont ensuite testées et affinées par des cycles de révision individuels et groupés. Cette approche donne un score de 79,6 % sur ARC-AGI v1 à 8,42 $ par tâche, ce qui est 25 fois plus efficace que la version preview d'o3 d'OpenAI.
L'auteur soutient que les LLM peinent à généraliser en raison des « zones de raisonnement mortes » où la logique échoue en dehors des distributions d'entraînement, et propose d'évoluer les instructions en langage naturel comme méthode pour combler l'écart entre le raisonnement abstrait humain et les capacités actuelles de l'IA.