Complexité du prompting : les prompts les plus courts pour les textes et comportements dans les LLM

Cet article définit la complexité du prompting comme la longueur du prompt plausible le plus court requis pour qu'un processus de décodage déterministe produise un texte cible à l'aide d'un modèle de langage fixe ajusté par instruction. Il présente cette mesure comme un analogue relatif au LM de la complexité de Kolmogorov à ressources bornées, où l'interface du modèle agit comme l'interprète.

• Le cadre restreint les programmes aux textes lisibles par l'homme pour s'aligner sur les pratiques d'ingénierie des prompts.
• Les auteurs étendent la définition à la complexité du prompting doux pour les sorties approximatives et définissent la distance de prompting en comparant les prompts générants les plus courts.
• Un agenda de recherche est proposé pour étudier empiriquement quels textes et comportements sont accessibles depuis des prompts plausibles courts sous une interface LM fixe.