체계적인 연구는 코딩 에이전트가 컴파일러의 누락된 최적화를 얼마나 잘 패치할 수 있는지 평가하며, 성공하려면 보고된 특정 사례를 넘어 유사한 인스턴스에 일반화해야 함을 확인했습니다.

  • 연구원들은 실제 LLVM 누락 최적화 문제를 사용하여 벤치마크를 구축하고 에이전트 생성 패치를 인간 개발자의 패치와 비교했습니다.
  • 결과는 에이전트가 종종 제공된 예시를 최적화하지만, 그들의 패치가 종종 의도된 범위의 일부만 커버하거나 부분적으로 겹친다는 것을 나타냅니다.
  • 경우에 따라 에이전트 생성 패치는 개발자가 제공한 참조 패치를 넘어 일반화됩니다.
  • 이 연구는 검색과 증류(LLM)를 통해 이전 LLVM 최적화 풀 리퀘스트를 활용하는 역사적 지식 증강 기법을 도입했습니다.
  • 이러한 증강 기법은 개발자 정렬 일반화를 개선하고 실제 IR에 적용할 때 실용적인 이점을 제공합니다.

이 결과는 컴파일러 최적화의 자동화 복잡성을 강조하며, 광범위한 일반화 능력 없이는 단순한 예시 수정으로는 불충분함을 시사합니다.