本論文は、部分的かつ非対称な観測特徴を持つ協調型共同意思決定タスクにおける熟考型大規模言語モデル（LLM）エージェントを調査する。著者たちは、このシナリオを共有報酬を達成するために熟考を通じた情報交換を必要とする問題として形式化する。

  • 複数のタスク設定とドメインにわたって問題を具体化するスケーラブルなベンチマークを導入する。
  • 熟考型エージェントのための参照スケフォールドと評価プロトコルを確立する。
  • これらのタスクにおける代表的なLLMの体系的評価を実施する。
  • 複雑な熟考的協働が最先端の言語モデルに引き続き課題をもたらすことを発見する。
  • 外部の数学的ツールは有用であるものの、モデルはアラインメントや推論において依然として失敗しうることに留意する。
  • 熟考により反射とエラー修正が可能になり、場合によっては集中型ベースラインを上回るパフォーマンス向上につながることが明らかになる。

本作業は、熟考的協働におけるLLMエージェントの評価と改善の基盤を確立し、現在のマルチエージェントシステムの強みと限界に関する洞察を提供する。