Систематическое исследование оценивает, насколько хорошо кодовые агенты могут исправлять упущенные оптимизации компилятора, выявляя, что успех требует обобщения за рамки конкретного указанного случая до аналогичных ситуаций.
- Исследователи создали бенчмарк на основе реальных проблем пропущенной оптимизации LLVM для сравнения патчей, сгенерированных агентами, с патчами от человеческих разработчиков.
- Результаты показывают, что, хотя агенты часто оптимизируют предоставленные примеры, их патчи часто охватывают только часть предполагаемого объема или частично перекрываются с ним.
- В некоторых случаях патчи, сгенерированные агентами, обобщаются за пределы эталонного патча, предоставленного разработчиками.
- Исследование вводит техники дополнения историческими знаниями, использующие предыдущие pull requests оптимизации LLVM через извлечение и дистилляцию.
- Эти техники дополнения улучшают обобщение, согласованное с разработчиками, и дают практическую пользу при применении к реальному IR.
Выводы подчеркивают сложность автоматизации оптимизаций компилятора, предполагая, что простое исправление примеров недостаточно без более широких возможностей обобщения.