Le mid-training aware des fonctions (FIM) améliore les modèles de base pour agents de codage

Les chercheurs introduisent le remplissage au milieu conscient des fonctions (FIM) comme objectif de mid-training pour les modèles de base d'agents de codage, exploitant l'isomorphisme structurel entre la boucle action-observation d'un agent et les sites d'appel de fonction. Cette approche auto-supervisée masque les fonctions sélectionnées via l'analyse du graphe de dépendance de programme et s'applique aux modèles Qwen2.5-Coder-Instruct et Qwen3-8B.

• Le mid-training sur un corpus de 2,6 milliards de tokens améliore les scores SWE-Bench-Verified de +2,8/+3,0 pour les modèles 7B/14B et de +3,2 pour Qwen3-8B.
• Les gains sur SWE-Bench-Lite atteignent respectivement +3,7, +4,0 et +5,4 pour les mêmes tailles de modèles.
• La méthode atténue l'érosion des capacités dans les benchmarks de codage non-agents comme LiveCodeBench et les tâches d'utilisation d'outils telles que tau-bench et BFCL.

Cette technique démontre que les biais inductifs des appels de fonction survivent au post-training agentique, produisant des améliorations cohérentes à travers différents pipelines et modèles de base, malgré l'utilisation exclusive de code Python pour le mid-training.