SQuaD-SQL permet aux petits modèles de langage d'approcher les performances des LLM sur la tâche Text-to-SQL via la distillation de connaissances

Les chercheurs présentent SQuaD-SQL, une méthode permettant aux petits modèles de langage (SLMs) d'atteindre des performances proches de celles des LLM sur la tâche Text-to-SQL tout en améliorant significativement l'efficacité grâce à la distillation de connaissances et à la génération de données synthétiques.

L'approche comprend trois composants clés : la génération de données synthétiques basée sur les LLM utilisant l'extraction de connaissances structurées, le fine-tuning efficace en paramètres pour l'entraînement sur un seul GPU grand public, et le fine-tuning adaptatif au domaine pour améliorer les performances dans des domaines ciblés. Les expériences sur le jeu de données WikiSQL démontrent que SQuaD-SQL atteint une précision d'exécution de 86,9 % sur l'ensemble de test.

Ces résultats suggèrent qu'avec des stratégies d'entraînement appropriées, les SLMs peuvent servir d'alternatives pratiques et efficaces pour les applications Text-to-SQL dans des environnements à ressources limitées.