Независимая проверка Иерархической модели рассуждений (HRM) на наборе данных ARC-AGI Semi-Private воспроизвела результаты 32% на ARC-AGI-1 и 2% на ARC-AGI-2, подтвердив впечатляющие показатели для модели с 27 млн параметров. Исследования аблиации выявили, что иерархическая архитектура модели оказала минимальное влияние по сравнению с трансформером аналогичного размера, тогда как процесс уточнения внешнего цикла обеспечил существенный прирост производительности.

  • HRM достигла 32% на ARC-AGI-1 и 2% на наборах данных Semi-Private ARC-AGI-2.
  • Иерархическое вычисление H-L внесло минимальный вклад в производительность по сравнению с базовым трансформером.
  • Процесс уточнения внешнего цикла был определен как основной фактор успеха, особенно в период обучения.
  • Переносное обучение между задачами показало ограниченные преимущества, при этом большая часть производительности была обусловлена запоминанием конкретных задач оценки.
  • Аугментация задач предобучения оказалась критически важной, требуя всего 300 аугментаций вместо 1000, указанных в оригинальной статье.

Эти выводы указывают на то, что подход HRM фундаментально схож с «ARC-AGI без предобучения», ставя под сомнение нарратив о том, что его вдохновленная мозгом иерархическая архитектура является ключевым отличием.