Un LLM a été configuré pour générer du code dans le langage Hyperlua, où chaque invocation de fonction est vérifiée par rapport à un ensemble connu de fonctions existantes pendant l'exécution. Si le modèle tente d'appeler une fonction inexistante, le système réessaie automatiquement la génération jusqu'à deux fois supplémentaires avant de retourner une erreur.

  • L'approche s'intègre dans les "points de terminaison de génération de code" comme un processus de 10 ms, rendant la prévention des hallucinations entièrement automatique.
  • Cette boucle de vérification a entraîné une augmentation de presque 10 points de pourcentage du score d'évaluation du LLM.
  • Bien que le modèle ne puisse pas halluciner des fonctions ou des concepts inexistants, il peut toujours halluciner des intentions, comme interroger la mauvaise base de données.

Cette méthode garantit que le code généré est syntaxiquement valide par construction, améliorant significativement la fiabilité dans les tâches de génération automatique de code.