研究者は、エージェントのアクション-観察ループと関数呼び出しサイトの間の構造的な同型性を利用し、コーディングエージェント基盤モデルのための中間トレーニング目的として関数認識型フィリング・イン・ザ・ミドル（FIM）を導入した。この自己教師ありアプローチは、プログラム依存グラフ分析を通じて選択された関数をマスクし、Qwen2.5-Coder-InstructおよびQwen3-8Bモデルに適用される。

  • 2.6Bトークンのコーパスでの中間トレーニングにより、7B/14BモデルのSWE-Bench-Verifiedスコアが+2.8/+3.0向上し、Qwen3-8Bでは+3.2向上した。
  • 同じモデルサイズ間でSWE-Bench-Liteでの獲得はそれぞれ+3.7、+4.0、+5.4に達した。
  • この手法は、LiveCodeBenchのような非エージェントコーディングベンチマークやtau-benchおよびBFCLのようなツール使用タスクにおける能力の侵食を緩和する。

この技術は、中間トレーニングにPythonコードのみを使用しているにもかかわらず、関数呼び出しの帰納的バイアスがエージェンティックなポストトレーニング後も存続し、異なるパイプラインやベースモデル全体で一貫した改善をもたらすことを示している。