Étendre l'horizon, pas les paramètres : atteindre des performances de modèles à mille milliards de paramètres avec un agent de 35M

Les chercheurs présentent Agents-A1, un modèle Mixture-of-Experts de 35M qui atteint des performances comparables à celles des modèles à mille milliards de paramètres en étendant l'horizon de l'agent plutôt qu'en augmentant le nombre de paramètres. L'approche se concentre sur l'extension des trajectoires à long terme et l'unification des capacités hétérogènes des agents grâce à une infrastructure d'entraînement spécialisée.

• Agents-A1 utilise une infrastructure de connaissances-actions à long horizon produisant des trajectoires agentic avec une longueur moyenne de 45K tokens.
• L'entraînement suit une recette en trois étapes : le fine-tuning supervisé sur tout le domaine, l'entraînement du modèle enseignant au niveau du domaine et la distillation on-policy multi-enseignant routée par domaine.
• Le modèle unifie six domaines hétérogènes en un seul modèle étudiant déployable en utilisant un alignement de vocabulaire saillant pour un transfert de connaissances efficace.
• Agents-A1 surpasse les modèles à mille milliards de paramètres comme Kimi-K2.6 et DeepSeek-V4-pro sur des benchmarks incluant SEAL-0 (56,4), IFBench (80,6), HiPhO (46,4), FrontierScience-Olympiad (79,0) et MolBench-Bind (56,8).

Ce travail offre une voie pratique pour étendre les horizons des agents, démontrant qu'un modèle de 35M peut égaler les performances de modèles significativement plus grands sur des tâches à long horizon.