본 논문은 부분적이고 비대칭적인 관찰 특성을 가진 협력형 공동 의사결정 작업에서 숙고형 대규모 언어 모델(LLM) 에이전트를 조사합니다. 저자들은 이 시나리오를 공유 보상을 달성하기 위해 숙고를 통한 정보 교환이 필요한 문제로 형식화합니다.

  • 여러 작업 설정과 도메인에 걸쳐 문제를 구체화하는 확장 가능한 벤치마크를 도입합니다.
  • 숙고형 에이전트를 위한 참조 스케폴드와 평가 프로토콜을 확립합니다.
  • 이러한 작업에서 대표적인 LLM에 대한 체계적인 평가를 수행합니다.
  • 복잡한 숙고적 협업이 최첨단 언어 모델에게 여전히 도전과제임을 발견합니다.
  • 외부 수학적 도구가 도움이 되지만, 모델은 정렬이나 추론에서 여전히 실패할 수 있음을 주목합니다.
  • 숙고가 성찰과 오류 수정을 가능하게 하여 때로는 중앙 집중식 기준선보다 성능을 향상시킬 수 있음을 드러냅니다.

본 연구는 숙고적 협업에서 LLM 에이전트를 평가하고 개선하기 위한 기반을 확립하며, 현재 다중 에이전트 시스템의 강점과 한계에 대한 통찰을 제공합니다.