В данной статье сложность промптинга определяется как длина кратчайшего правдоподобного промпта, необходимого для того, чтобы детерминированный процесс декодирования сгенерировал целевой текст с использованием фиксированной инструкции-настроенной языковой модели. Эта мера представлена как аналог ресурсно-ограниченной сложности Колмогорова относительно LM, где интерфейс модели выступает в роли интерпретатора.
- Фреймворк ограничивает программы текстами, понятными человеку, чтобы согласовать его с практиками промпт-инжиниринга.
- Авторы расширяют определение на сложность софт-промптинга для приближенных выходов и определяют промпт-расстояние путем сравнения кратчайших генерирующих промптов.
- Предлагается исследовательская повестка дня для эмпирического изучения того, какие тексты и поведения доступны из кратких правдоподобных промптов при фиксированном интерфейсе LM.