Les auteurs présentent Incognita, un framework basé sur Concordia qui sépare l'interaction sociale de l'exécution grounded pour évaluer comment les agents génératifs traitent les connaissances partitionnées entre des participants isolés par leur rôle. Le système achemine les messages vers des entités spécialisées qui médient les opérations au sein d'un sous-environnement déterministe, permettant ainsi d'évaluer la communication comme exploration et l'action comme exploitation.
- Incognita-Retail transforme tau-bench retail en un environnement multi-entités tout en préservant la sémantique de récompense de l'état final.
- Trois modèles d'agents génératifs ont été évalués sur 18 tâches stratifiées par largeur sociale sur 540 essais.
- Les taux de succès sont passés de 0 % à 8,9 % et 17,2 %, tandis que la finalisation prématurée a diminué de 100 % à 87 % et 58 %.
- Les modèles plus puissants ont suscité plus de connaissances cachées, contacté plus d'entités et tenté plus d'écritures grounded, bien que la fiabilité reste faible.
Ces résultats démontrent que les environnements de tâches socialement distribués exposent des comportements critiques des agents tels que l'extraction de connaissances, la sélection de source et les croyances de finalisation prématurée avant qu'un succès fiable ne soit atteint.