Uma verificação independente do Modelo de Raciocínio Hierárquico (HRM) no conjunto Semi-Privado do ARC-AGI reproduziu pontuações de 32% no ARC-AGI-1 e 2% no ARC-AGI-2, confirmando resultados impressionantes para seu tamanho de 27M parâmetros. Estudos de ablação revelaram que a arquitetura hierárquica do modelo teve impacto mínimo em comparação com um transformer de tamanho similar, enquanto o processo de refinamento do loop externo impulsionou ganhos substanciais de desempenho.
- O HRM alcançou 32% no ARC-AGI-1 e 2% nos conjuntos Semi-Privados do ARC-AGI-2.
- O cálculo H-L hierárquico contribuiu minimamente para o desempenho em relação a um transformer base.
- O processo de refinamento do loop externo foi identificado como o principal impulsionador do sucesso, particularmente durante o treinamento.
- A transferência de aprendizado entre tarefas mostrou benefícios limitados, com a maior parte do desempenho atribuída à memorização de tarefas específicas de avaliação.
- O aumento da tarefa de pré-treinamento foi crítico, exigindo apenas 300 aumentos em vez dos 1.000 relatados no artigo original.
Essas descobertas sugerem que a abordagem do HRM é fundamentalmente semelhante à "ARC-AGI sem pré-treinamento", desafiando a narrativa de que sua arquitetura hierárquica inspirada no cérebro é o principal diferencial.