Pour améliorer la fiabilité lors de la génération de sorties structurées à partir de grands modèles de langage, une méthode est proposée qui renvoie les erreurs de validation et la sortie précédente du modèle dans le prompt lors des tentatives suivantes. Cette approche transforme le processus de régénération aléatoire des réponses en une correction automatique des erreurs spécifiques par édition de la tentative précédente.
- La technique consiste à capturer les erreurs de validation et à ajouter au prochain prompt un message contenant l'erreur formatée et la réponse précédente sérialisée.
- Les erreurs doivent être décrites dans des termes compréhensibles pour le modèle, par exemple en précisant qu'un champ nécessite un entier mais a reçu une chaîne.
- La sortie précédente du modèle est incluse afin qu'il puisse modifier les parties incorrectes spécifiques plutôt que de régénérer l'intégralité de la réponse.
- Les compromis incluent une latence accrue due aux appels supplémentaires et des prompts plus longs en cas d'échec, nécessitant une limitation du nombre de tentatives.
- Cette méthode ne fonctionne que lorsque la sortie invalide est suffisamment analysable pour être renvoyée au modèle.
Cette stratégie aide les utilisateurs à obtenir des sorties structurées plus fiables en exploitant la capacité du modèle à corriger ses propres erreurs plutôt que de compter sur des tentatives aléatoires.