저자들은 Concordia 기반 프레임워크인 Incognita를 소개하며, 사회적 상호작용과 grounded 실행을 분리하여 역할에 의해 격리된 참여자들에게 분할된 지식을 생성형 에이전트가 어떻게 처리하는지 평가합니다. 이 시스템은 메시지를 전문 엔티티로 라우팅하여 결정론적 하위 환경 내에서 작업을 중재함으로써, 탐색으로서의 커뮤니케이션과 활용으로서의 행동을 평가할 수 있게 합니다.
- Incognita-Retail는 최종 상태 보상 의미를 유지하면서 tau-bench retail를 다중 엔티티 환경으로 변환합니다.
- 3개의 생성형 에이전트 모델이 사회적 폭에 따라 계층화된 18개 작업에서 540번의 시도로 평가되었습니다.
- 성공률은 0%에서 8.9% 및 17.2%로 상승했으며, 조기 종료는 100%에서 87% 및 58%로 감소했습니다.
- 더 강력한 모델은 더 많은 숨겨진 지식을 끌어내고, 더 많은 엔티티에 접촉하며, 더 많은 grounded 쓰기를 시도했지만 신뢰성은 여전히 낮았습니다.
이러한 발견들은 사회적 분산 작업 환경이 확실한 성공이 달성되기 전에 지식 추출, 소스 선택, 조기 완료 신념과 같은 중요한 에이전트 행동을 드러낸다는 것을 보여줍니다.