著者は、各問題に対して数千のPython実装を生成・評価するためにGPT-4oを活用し、ARC-AGI推論ベンチマークのパブリックテストセットにおいて50%という新たな最良精度を達成しました。

  • この手法は、ステップバイステップの推論を含むfew-shotプロンプトを使用して、問題ごとに約8,000個のPythonプログラムを生成します。
  • プログラムは提供された例に対する正しさに基づいて選択され、グリッドサイズの変動に対してアンサンブルアプローチが採用されます。
  • 修正フェーズでは、実際の出力を表示して修正を求めることで、最も有望な12の実装の修正を試みます。
  • 以前の最良精度は34%であり、人間はより簡単なトレーニング分布で85%を達成します。

この結果は、現在の大規模言語モデルが広範なサンプリングと検証を通じて複雑な推論タスクで decently well（十分に良好に）パフォーマンスを発揮できることを示しており、推論時に学習能力がないという主張に挑戦しています。