Авторы представляют Incognita, основанную на Concordia фреймворк, который разделяет социальное взаимодействие и заземлённое выполнение для оценки того, как генеративные агенты справляются с разделением знаний между участниками, изолированными по ролям. Система маршрутизирует сообщения специализированным сущностям, которые опосредуют операции в детерминированной подсреде, что позволяет оценивать коммуникацию как исследование, а действие — как эксплуатацию.
- Incognita-Retail преобразует tau-bench retail в многоагентную среду, сохраняя семантику вознаграждения конечного состояния.
- Три модели генеративных агентов были оценены на 18 задачах, стратифицированных по социальной широте, в ходе 540 испытаний.
- Успешность выросла с 0% до 8,9% и 17,2%, а преждевременное завершение снизилось с 100% до 87% и 58%.
- Более мощные модели выявляли больше скрытых знаний, контактировали с большим числом сущностей и предпринимали больше попыток заземлённых записей, хотя надёжность оставалась низкой.
Эти результаты демонстрируют, что социально распределённые среды задач выявляют критическое поведение агентов, такое как извлечение знаний, выбор источника и преждевременные убеждения о завершении, до достижения надёжной успешности.