本文研究了在具有部分和不对称观测特征的协作联合决策任务中，具备深思熟虑能力的大语言模型（LLM）代理。作者将此场景形式化为一个需要通过深思熟虑进行信息交换以实现共享奖励的问题。

  • 引入了一个可扩展的基准测试，在多种任务设置和领域中实例化该问题。
  • 为深思熟虑型代理建立了参考框架和评估协议。
  • 对这些任务中的代表性 LLM 进行了系统评估。
  • 发现复杂的深思熟虑协作继续对最先进的语言模型构成挑战。
  • 指出虽然外部数学工具有所帮助，但模型在对齐或推理方面仍可能失败。
  • 揭示深思熟虑允许反思和错误纠正，有时能改善性能，优于集中式基线。

这项工作为评估和改进深思熟虑协作中的 LLM 代理奠定了基础，并提供了对当前多智能体系统优势和局限性的见解。