作者介绍了 Incognita,这是一个基于 Concordia 的框架,将社交互动与接地执行分离,以评估生成式智能体如何处理跨角色隔离参与者的分区知识。该系统将消息路由到专家实体,这些实体在确定性子环境中调解操作,从而允许将通信评估为探索,将行动评估为利用。

  • Incognita-Retail 将 tau-bench retail 转换为多实体环境,同时保留最终状态奖励语义。
  • 三个生成式智能体模型在按社交广度分层的 18 个任务上进行了评估,共进行 540 次试验。
  • 成功率从 0% 上升到 8.9% 和 17.2%,而提前完成率从 100% 下降到 87% 和 58%。
  • 更强的模型引发了更多的隐藏知识,联系了更多的实体,并尝试了更多的接地写入,尽管可靠性仍然较低。

这些发现表明,社交分布式任务环境在实现可靠成功之前,会暴露智能体的关键行为,如知识 elicitation、源选择和提前完成信念。