Les chercheurs présentent PolyWorkBench, un benchmark conçu pour évaluer les agents de modèles de langage larges sur des flux de travail professionnels multilingues à long terme. Cela comble le manque dans les benchmarks existants qui supposent généralement des paramètres monolingues, alors que les applications réelles impliquent souvent des entrées et sorties multilingues.
- Le benchmark comprend 67 tâches réparties sur cinq domaines : commerce, travail intellectuel, analyse juridique, localisation et fabrication.
- Les agents doivent traiter des entrées multilingues hétérogènes, effectuer un raisonnement itératif, invoquer des outils externes et produire des sorties structurées.
- L'évaluation utilise un cadre hybride combinant la notation structurelle, la vérification exécutable et l'évaluation sémantique basée sur les LLM.
- Les résultats empiriques indiquent que les agents LLM de pointe subissent une dégradation significative des performances dans les paramètres multilingues par rapport aux paramètres monolingues.
L'analyse suggère que le multilinguisme introduit des effets cumulatifs à travers les étapes de raisonnement et d'exécution, soulignant la nécessité de modéliser conjointement la variation linguistique et la prise de décision procédurale.