Una verificación independiente del Modelo de Razonamiento Jerárquico (HRM) en el conjunto de datos Semi-Privado de ARC-AGI reprodujo puntuaciones de 32% en ARC-AGI-1 y 2% en ARC-AGI-2, confirmando resultados impresionantes para su tamaño de 27M parámetros. Los estudios de ablation revelaron que la arquitectura jerárquica del modelo tuvo un impacto mínimo en comparación con un transformador de tamaño similar, mientras que el proceso de refinamiento del bucle externo impulsó ganancias sustanciales de rendimiento.
- HRM logró 32% en ARC-AGI-1 y 2% en los conjuntos Semi-Privados de ARC-AGI-2.
- El cálculo jerárquico H-L contribuyó mínimamente al rendimiento en relación con un transformador base.
- Se identificó que el proceso de refinamiento del bucle externo fue el principal impulsor del éxito, particularmente durante el entrenamiento.
- El aprendizaje por transferencia entre tareas mostró beneficios limitados, atribuyéndose la mayor parte del rendimiento a la memorización de tareas de evaluación específicas.
- La augmentación de tareas de preentrenamiento fue crítica, requiriendo solo 300 augmentaciones en lugar de las 1.000 reportadas en el artículo original.
Estos hallazgos sugieren que el enfoque de HRM es fundamentalmente similar a "ARC-AGI sin preentrenamiento", desafiando la narrativa de que su arquitectura jerárquica inspirada en el cerebro es el diferenciador clave.