Sebuah studi sistematis mengevaluasi seberapa baik agen pemrograman dapat memperbaiki optimasi yang terlewatkan oleh kompiler, mengidentifikasi bahwa keberhasilan memerlukan generalisasi melampaui kasus spesifik yang dilaporkan ke instance serupa.
- Para peneliti membangun benchmark menggunakan masalah optimasi yang terlewatkan LLVM dunia nyata untuk membandingkan patch yang dihasilkan agen dengan patch dari pengembang manusia.
- Hasil menunjukkan bahwa meskipun agen sering mengoptimalkan contoh yang diberikan, patch mereka sering kali hanya mencakup sebagian dari ruang lingkup yang dimaksud atau tumpang tindih secara parsial dengannya.
- Dalam beberapa kasus, patch yang dihasilkan oleh agen menggeneralisasi melampaui patch referensi yang disediakan oleh pengembang.
- Studi ini memperkenalkan teknik augmentasi pengetahuan historis yang memanfaatkan permintaan tarik (pull request) optimasi LLVM sebelumnya melalui pengambilan dan distilasi.
- Teknik augmentasi ini meningkatkan generalisasi yang selaras dengan pengembang dan menghasilkan manfaat praktis ketika diterapkan pada IR dunia nyata.
Temuan tersebut menyoroti kompleksitas otomatisasi optimasi kompiler, menyarankan bahwa perbaikan contoh sederhana tidak cukup tanpa kemampuan generalisasi yang lebih luas.