В данной статье исследуются агенты на основе больших языковых моделей (LLM), способные к обдумыванию, в задачах совместного принятия решений, характеризующихся частичными и асимметричными наблюдениями. Авторы формализуют эту ситуацию как задачу, требующую обмена информацией посредством обдумывания для достижения общей награды.
- Вводится масштабируемый бенчмарк, реализующий задачу в различных настройках и доменах.
- Создается эталонная структура и протокол оценки для агентов с обдумыванием.
- Проводится систематическая оценка репрезентативных LLM на этих задачах.
- Выявляется, что сложное обдумываемое сотрудничество продолжает бросать вызов языковым моделям последнего поколения.
- Отмечается, что хотя внешние математические инструменты помогают, модели могут все еще допускать ошибки в согласовании или рассуждении.
- Показывается, что обдумывание позволяет проводить рефлексию и исправление ошибок, иногда улучшая результаты по сравнению с централизованными базовыми моделями.
Работа закладывает основу для оценки и улучшения агентов LLM в обдумываемом сотрудничестве и дает представление о сильных и слабых сторонах текущих многоагентных систем.