Preenchimento do meio ciente de funções no treinamento intermediário melhora modelos base para agentes de código

Pesquisadores introduzem o preenchimento do meio ciente de funções (FIM) como um objetivo de treinamento intermediário para modelos base de agentes de código, aproveitando o isomorfismo estrutural entre o loop de ação-observação de um agente e os pontos de chamada de função. Esta abordagem auto-supervisionada mascara funções selecionadas por meio de análise de grafos de dependência de programas e é aplicada aos modelos Qwen2.5-Coder-Instruct e Qwen3-8B.

• O treinamento intermediário em um corpus de 2,6 bilhões de tokens melhora as pontuações do SWE-Bench-Verified em +2,8/+3,0 para os modelos de 7B/14B e em +3,2 para o Qwen3-8B.
• Os ganhos no SWE-Bench-Lite atingem +3,7, +4,0 e +5,4 respectivamente nos mesmos tamanhos de modelo.
• O método mitiga a erosão de capacidades em benchmarks de codificação não agentes como LiveCodeBench e tarefas de uso de ferramentas como tau-bench e BFCL.

Esta técnica demonstra que os vieses indutivos de chamada de função sobrevivem ao pós-treinamento agente, produzindo melhorias consistentes em diferentes pipelines e modelos base, apesar de usar apenas código Python para o treinamento intermediário.