体系的な研究は、コーディングエージェントがコンパイラの見落とし最適化をどのようにパッチできるかを評価し、成功には報告された特定のケースを超えて類似のインスタンスに汎化することが必要であることを特定した。

  • 研究者たちは、エージェント生成のパッチと人間の開発者によるパッチを比較するために、実際のLLVMの見落とし最適化の問題を用いてベンチマークを構築した。
  • 結果は、エージェントが提供された例をしばしば最適化する一方で、そのパッチが意図された範囲の一部しかカバーしていないか、部分的に重複していることを示している。
  • 場合によっては、エージェント生成のパッチが開発者が提供した参照パッチを超えて汎化することがある。
  • この研究は、検索と蒸留を通じて過去のLLVM最適化プルリクエストを活用する歴史的知識の拡張手法を導入した。
  • これらの拡張手法は、開発者指向の汎化を改善し、実際のIRに適用した場合に実用的な利益をもたらす。

これらの知見は、コンパイラ最適化の自動化の複雑さを浮き彫りにし、広範な汎化能力なしでは単純な例の修正では不十分であることを示唆している。