面向函数的中间填充中期训练可提升代码代理基础模型

研究人员提出将面向函数的中间填充（FIM）作为代码代理基础模型的中期训练目标，利用代理的动作-观察循环与函数调用点之间的结构同构性。这种自监督方法通过程序依赖图分析选择要掩码的函数，并应用于 Qwen2.5-Coder-Instruct 和 Qwen3-8B 模型。

• 在 26 亿词元的语料库上进行中期训练，使 SWE-Bench-Verified 分数对 7B/14B 模型提升 +2.8/+3.0，对 Qwen3-8B 提升 +3.2。
• 在 SWE-Bench-Lite 上的增益分别达到 +3.7、+4.0 和 +5.4（对应上述相同模型规模）。
• 该方法减轻了 LiveCodeBench 等非代理编码基准以及 tau-bench 和 BFCL 等工具使用任务中的能力衰退。

该技术表明，函数调用归纳偏置在代理式后训练得以保留，尽管中期训练仅使用 Python 代码，但在不同流水线基础模型中仍带来一致的性能提升。