El relleno intermedio consciente de funciones en el entrenamiento intermedio mejora los modelos base para agentes de código

Los investigadores introducen el relleno intermedio consciente de funciones (FIM) como un objetivo de entrenamiento intermedio para modelos base de agentes de código, aprovechando el isomorfismo estructural entre el bucle de acción-observación de un agente y los puntos de llamada a funciones. Este enfoque auto-supervisado enmascara las funciones seleccionadas mediante análisis de grafos de dependencia de programas y se aplica a los modelos Qwen2.5-Coder-Instruct y Qwen3-8B.

• El entrenamiento intermedio en un corpus de 2,6 mil millones de tokens mejora las puntuaciones de SWE-Bench-Verified en +2,8/+3,0 para los modelos de 7B/14B y en +3,2 para Qwen3-8B.
• Las ganancias en SWE-Bench-Lite alcanzan +3,7, +4,0 y +5,4 respectivamente a través de los mismos tamaños de modelo.
• El método mitiga la erosión de capacidades en benchmarks de codificación no agentes como LiveCodeBench y tareas de uso de herramientas como tau-bench y BFCL.

Esta técnica demuestra que los sesgos inductivos de llamada a funciones sobreviven al post-entrenamiento agente, produciendo mejoras consistentes en diferentes pipelines y modelos base a pesar de usar solo código Python para el entrenamiento intermedio.