ジェレミー・バーマンは、OpenAIのSonnet 3.5モデルに進化アルゴリズムを適用することで、ARC-AGI-Pubリーダーボードにおいて53.6%という精度の新規公開記録を樹立し、従来の最高スコア43%を上回った。このアプローチでは、LLMを直接出力グリッドではなくPython変換関数を生成・洗練する進化エンジンとして扱う。

この手法は、候補となるPython関数の波を生成し、提供されたトレーニング例に対して二段階のフィットネス評価を用いてスコアリングすることを含む。

  • 最もパフォーマンスの高い関数が親として選択され、次世代のリビジョンプロンプトを作成するために使用される。
  • このプロセスは複数の世代を通じて反復され、31個の動的プロンプトを使用して課題ごとに最大500個の関数を生成する可能性がある。
  • 最終的な解決策は、すべての世代にわたる上位2つの関数から導き出され、候補出力グリッドとして提出される。

バーマンは、進化の原理によって誘導されたテスト時のコンプューティングのスケーリングにより、LLMが汎化制限を補完できる可能性があり、これは人工一般知能への道しるべを示唆している可能性があると考えている。