Un estudio sistemático evalúa qué tan bien los agentes de codificación pueden parchear las optimizaciones perdidas del compilador, identificando que el éxito requiere generalizar más allá del caso específico reportado hacia instancias similares.
- Los investigadores construyeron un benchmark utilizando problemas reales de optimización perdida de LLVM para comparar los parches generados por agentes con los de desarrolladores humanos.
- Los resultados indican que, aunque los agentes a menudo optimizan los ejemplos proporcionados, sus parches frecuentemente cubren solo parte del alcance previsto o se superponen parcialmente con él.
- En algunos casos, los parches generados por agentes generalizan más allá del parche de referencia proporcionado por los desarrolladores.
- El estudio introduce técnicas de augmentación con conocimiento histórico que aprovechan las pull requests de optimización anteriores de LLVM mediante recuperación y destilación.
- Estas técnicas de augmentación mejoran la generalización alineada con el desarrollador y producen beneficios prácticos cuando se aplican a IR del mundo real.
Los hallazgos destacan la complejidad de automatizar las optimizaciones del compilador, sugiriendo que corregir ejemplos simples es insuficiente sin capacidades de generalización más amplias.