Este artículo investiga agentes de modelos de lenguaje grandes (LLM) deliberativos en tareas de toma de decisiones conjuntas cooperativas caracterizadas por observaciones parciales y asimétricas. Los autores formalizan este escenario como un problema que requiere intercambio de información a través de la deliberación para lograr una recompensa compartida.
- Introduce un benchmark escalable que instancia el problema en múltiples configuraciones de tareas y dominios.
- Establece un andamio de referencia y un protocolo de evaluación para agentes deliberativos.
- Realiza una evaluación sistemática de LLMs representativos en estas tareas.
- Encuentra que la colaboración deliberativa compleja sigue desafiando a los modelos de lenguaje de última generación.
- Señala que, aunque las herramientas matemáticas externas ayudan, los modelos aún pueden fallar en alineación o razonamiento.
- Revela que la deliberación permite la reflexión y la corrección de errores, mejorando a veces el rendimiento sobre las líneas base centralizadas.
El trabajo establece una base para evaluar y mejorar agentes LLM en colaboración deliberativa y proporciona perspectivas sobre las fortalezas y limitaciones de los sistemas multiagente actuales.