Mid-training Fill-in-the-Middle yang Sadar Fungsi Meningkatkan Model Fondasi Agen Pemrograman

Para peneliti memperkenalkan fill-in-the-middle (FIM) yang sadar fungsi sebagai tujuan mid-training untuk model fondasi agen pemrograman, memanfaatkan isomorfisme struktural antara loop aksi-observasi agen dan situs panggilan fungsi. Pendekatan self-supervised ini menutupi fungsi yang dipilih melalui analisis graf ketergantungan program dan diterapkan pada model Qwen2.5-Coder-Instruct dan Qwen3-8B.

• Mid-training pada korpus 2,6B token meningkatkan skor SWE-Bench-Verified sebesar +2,8/+3,0 untuk model 7B/14B dan +3,2 untuk Qwen3-8B.
• Peningkatan pada SWE-Bench-Lite mencapai +3,7, +4,0, dan +5,4 secara berurutan di seluruh ukuran model yang sama.
• Metode ini mengurangi erosi kemampuan dalam benchmark pemrograman non-agen seperti LiveCodeBench dan tugas penggunaan alat seperti tau-bench dan BFCL.

Teknik ini menunjukkan bahwa bias induktif panggilan fungsi bertahan pasca-pelatihan agentic, menghasilkan peningkatan yang konsisten di berbagai pipeline dan model dasar meskipun hanya menggunakan kode Python untuk mid-training.