ARC-AGI Semi-Privateデータセットにおける階層推論モデル（HRM）の独立した検証では、27Mパラメータのサイズに対してARC-AGI-1で32%、ARC-AGI-2で2%のスコアが再現され、印象的な結果であることが確認されました。アブレーション研究により、モデルの階層型アーキテクチャは同サイズのトランスフォーマーと比較して最小限の影響しか与えていない一方で、外側ループの精緻化プロセスが大幅なパフォーマンス向上を牽引していることが明らかになりました。

  • HRMはARC-AGI-1で32%、ARC-AGI-2 Semi-Privateセットで2%を達成した。
  • 階層型H-L計算は、ベースラインのトランスフォーマーと比較してパフォーマンスに最小限の寄与しかしていなかった。
  • 外側ループの精緻化プロセスが成功の主要な駆動要因として特定され、特にトレーニング中に顕著であった。
  • タスク間転移学習は限られた利益しか示さず、パフォーマンスの大部分は特定の評価タスクの記憶に帰属された。
  • 事前トレーニングのタスク拡張は重要であり、元の論文で報告された1,000ではなく300の拡張のみが必要であった。

これらの知見は、HRMのアプローチが本質的に「事前トレーニングなしのARC-AGI」と類似しており、その脳インスパイアードな階層型アーキテクチャが決定的な差別化要因であるという物語に疑問を投げかけるものである。