В данной статье утверждается, что большие языковые модели не являются универсальными решателями задач исключительно посредством промптов из-за фундаментальных ограничений языка как интерфейса коммуникации и требований согласования. Авторы анализируют взаимодействие пользователя с системой как игру дешёвой речи для вывода границ PAC-Bayes, разделяющих ошибку оценки и структурные ограничения.
- Вводится «пол выразительности», где язык выступает в качестве канала с ограниченной пропускной способностью, делая различные задачи неразличимыми, когда информационная сложность превышает ёмкость канала.
- Устанавливается «пол несовпадения целей», показывающий, что ограничения согласования могут сужать допустимое множество выходов, вызывая неустранимое искажение распределения, идеального для пользователя.
- Анализ доказывает, что для определённых семейств задач корректное поведение принципиально недостижимо даже в режиме бесконечных данных.
Полученные результаты указывают на то, что интерфейсы, выходящие за рамки естественного языка, такие как мультимодальные наблюдения или внешняя память, могут снизить внутренние ограничения LLM за счёт увеличения количества информации о задаче, доступной системе.