Memperluas Horizon, Bukan Parameter: Mencapai Kinerja Triliun-Parameter dengan Agen 35B

Para peneliti memperkenalkan Agents-A1, sebuah model Mixture-of-Experts 35B yang mencapai kinerja sebanding dengan model triliun-parameter dengan memperluas horizon agen alih-alih jumlah parameter. Pendekatan ini berfokus pada memperpanjang trajektori jangka panjang dan menyatukan kemampuan agen heterogen melalui infrastruktur pelatihan khusus.

• Agents-A1 memanfaatkan infrastruktur pengetahuan-aksi jangka panjang yang menghasilkan trajektori agentic dengan panjang rata-rata 45K token.
• Pelatihan mengikuti resep tiga tahap: fine-tuning terawasi domain-penuh, pelatihan model guru tingkat domain, dan distilasi on-policy multi-guru yang diarahkan berdasarkan domain.
• Model ini menyatukan enam domain heterogen menjadi satu model siswa yang dapat dideploy menggunakan penyelarasan kosakata yang menonjol untuk transfer pengetahuan yang efisien.
• Agents-A1 mengungguli model triliun-parameter seperti Kimi-K2.6 dan DeepSeek-V4-pro pada benchmark termasuk SEAL-0 (56,4), IFBench (80,6), HiPhO (46,4), FrontierScience-Olympiad (79,0), dan MolBench-Bind (56,8).

Karya ini menawarkan jalur praktis untuk memperluas horizon agen, menunjukkan bahwa model 35B dapat menyamai kinerja model yang jauh lebih besar pada tugas jangka panjang.