Une étude systématique évalue dans quelle mesure les agents de codage peuvent corriger les optimisations manquées par le compilateur, identifiant que le succès nécessite de généraliser au-delà du cas spécifique rapporté vers des instances similaires.
- Les chercheurs ont construit un benchmark en utilisant des problèmes réels d'optimisations manquées LLVM pour comparer les patches générés par les agents à ceux des développeurs humains.
- Les résultats indiquent que bien que les agents optimisent souvent les exemples fournis, leurs patches couvrent fréquemment seulement une partie de la portée intentionnée ou se chevauchent partiellement avec celle-ci.
- Dans certains cas, les patches générés par les agents généralisent au-delà du patch de référence fourni par les développeurs.
- L'étude introduit des techniques d'augmentation de connaissances historiques exploitant les demandes de tirage (pull requests) d'optimisation LLVM antérieures via la récupération et la distillation.
- Ces techniques d'augmentation améliorent la généralisation alignée sur le développeur et offrent des avantages pratiques lorsqu'elles sont appliquées à l'IR réel.
Les résultats mettent en évidence la complexité de l'automatisation des optimisations du compilateur, suggérant qu'une simple correction d'exemple est insuffisante sans des capacités de généralisation plus larges.