Une vérification indépendante du modèle de raisonnement hiérarchique (HRM) sur l'ensemble de données Semi-Private d'ARC-AGI a reproduit des scores de 32 % sur ARC-AGI-1 et de 2 % sur ARC-AGI-2, confirmant des résultats impressionnants pour sa taille de 27 millions de paramètres. Les études d'ablation ont révélé que l'architecture hiérarchique du modèle avait un impact minimal par rapport à un transformateur de taille similaire, tandis que le processus de raffinement de la boucle externe a entraîné des gains de performance substantiels.
- HRM a obtenu 32 % sur ARC-AGI-1 et 2 % sur les ensembles Semi-Private d'ARC-AGI-2.
- Le calcul hiérarchique H-L a contribué de manière minimale à la performance par rapport à un transformateur de base.
- Le processus de raffinement de la boucle externe a été identifié comme le principal moteur du succès, en particulier pendant l'entraînement.
- L'apprentissage par transfert inter-tâches a montré des avantages limités, la plupart des performances étant attribuées à la mémorisation de tâches d'évaluation spécifiques.
- L'augmentation des tâches de pré-entraînement était cruciale, nécessitant seulement 300 augmentations plutôt que les 1 000 rapportées dans l'article original.
Ces résultats suggèrent que l'approche d'HRM est fondamentalement similaire à « ARC-AGI sans pré-entraînement », remettant en question le récit selon lequel son architecture hiérarchique inspirée du cerveau est le facteur différenciant clé.