Este artigo investiga agentes de modelos de linguagem grandes (LLM) deliberativos em tarefas de tomada de decisão conjunta cooperativa caracterizadas por observações parciais e assimétricas. Os autores formalizam esse cenário como um problema que requer troca de informações por meio de deliberação para alcançar uma recompensa compartilhada.
- Introduz um benchmark escalável que instancia o problema em múltiplas configurações de tarefas e domínios.
- Estabelece uma estrutura de referência e protocolo de avaliação para agentes deliberativos.
- Realiza uma avaliação sistemática de LLMs representativos nessas tarefas.
- Encontra que a colaboração deliberativa complexa continua desafiando os modelos de linguagem de última geração.
- Nota que, embora ferramentas matemáticas externas ajudem, os modelos ainda podem falhar em alinhamento ou raciocínio.
- Revela que a deliberação permite reflexão e correção de erros, às vezes melhorando o desempenho em relação às linhas de base centralizadas.
O trabalho estabelece uma base para avaliar e melhorar agentes LLM em colaboração deliberativa e fornece insights sobre as forças e limitações dos sistemas multiagente atuais.