Um estudo sistemático avalia quão bem os agentes de codificação podem corrigir as otimizações perdidas do compilador, identificando que o sucesso requer generalizar além do caso específico relatado para instâncias semelhantes.
- Os pesquisadores construíram um benchmark usando problemas reais de otimização perdida do LLVM para comparar patches gerados por agentes com aqueles de desenvolvedores humanos.
- Os resultados indicam que, embora os agentes frequentemente otimizem os exemplos fornecidos, seus patches frequentemente cobrem apenas parte do escopo pretendido ou se sobrepõem parcialmente a ele.
- Em alguns casos, os patches gerados por agentes generalizam além do patch de referência fornecido pelos desenvolvedores.
- O estudo introduz técnicas de augmentação com conhecimento histórico que alavancam pull requests de otimização anteriores do LLVM por meio de recuperação e destilação.
- Essas técnicas de augmentação melhoram a generalização alinhada ao desenvolvedor e produzem benefícios práticos quando aplicadas ao IR do mundo real.
As descobertas destacam a complexidade de automatizar as otimizações do compilador, sugerindo que corrigir exemplos simples é insuficiente sem capacidades de generalização mais amplas.