Cet article examine les agents de grands modèles de langage (LLM) délibératifs dans des tâches de prise de décision conjointe coopérative caractérisées par des observations partielles et asymétriques. Les auteurs formalisent ce scénario comme un problème nécessitant un échange d'informations par délibération pour atteindre une récompense partagée.
- Introduit un benchmark évolutif instanciant le problème à travers plusieurs paramètres de tâche et domaines.
- Établit un échafaudage de référence et un protocole d'évaluation pour les agents délibératifs.
- Mène une évaluation systématique des LLM représentatifs sur ces tâches.
- Constate que la collaboration délibérative complexe continue de défier les modèles de langage de pointe.
- Note que bien que les outils mathématiques externes aident, les modèles peuvent toujours échouer en alignement ou en raisonnement.
- Révèle que la délibération permet la réflexion et la correction d'erreurs, améliorant parfois les performances par rapport aux références centralisées.
Ce travail établit une base pour évaluer et améliorer les agents LLM dans la collaboration délibérative et fournit des éclairages sur les forces et les limites des systèmes multi-agents actuels.