Este artículo sostiene que los Modelos de Lenguaje Grande no son solucionadores universales de problemas mediante el uso exclusivo de prompts, debido a restricciones fundamentales en el lenguaje como interfaz de comunicación y requisitos de alineación. Los autores analizan la interacción usuario-sistema como un juego de cheap-talk para derivar cotas PAC-Bayes que distinguen el error de estimación de las limitaciones estructurales.
- El estudio introduce un 'piso de expresividad' donde el lenguaje actúa como un canal con capacidad limitada, haciendo que tareas distintas sean indistinguibles cuando la complejidad informativa excede la capacidad del canal.
- Se establece un 'piso de desalineación de objetivos', mostrando que las restricciones de alineación pueden restringir el conjunto de salidas admisibles, causando una distorsión irreducible de la distribución ideal del usuario.
- El análisis demuestra que para ciertas familias de tareas, el comportamiento correcto es demostrablemente inalcanzable incluso en el régimen de datos infinitos.
Los hallazgos sugieren que interfaces más allá del lenguaje natural, como observaciones multimodales o memoria externa, pueden reducir las limitaciones inherentes de los LLM al aumentar la información relevante para la tarea disponible para el sistema.