Исследователи предлагают осознанное заполнение середины с учётом функций (FIM) в качестве целевой функции промежуточного обучения для базовых моделей кодовых агентов, используя структурную изоморфность между циклом действий и наблюдений агента и точками вызова функций. Этот подход самообучения маскирует функции, выбранные посредством анализа графа зависимостей программ, и применяется к моделям Qwen2.5-Coder-Instruct и Qwen3-8B.

  • Промежуточное обучение на корпусе из 2,6 млрд токенов улучшает показатели SWE-Bench-Verified на +2,8/+3,0 для моделей 7B/14B и на +3,2 для Qwen3-8B.
  • Приросты на SWE-Bench-Lite достигают +3,7, +4,0 и +5,4 соответственно для тех же размеров моделей.
  • Метод смягчает эрозию способностей в бенчмарках кодирования неагентного типа, таких как LiveCodeBench, и задачах использования инструментов, таких как tau-bench и BFCL.

Эта техника демонстрирует, что индуктивные смещения вызова функций сохраняются после агентного постобучения, обеспечивая последовательные улучшения в различных конвейерах и базовых моделях, несмотря на использование только кода Python для промежуточного обучения.