SQuaD-SQL permite que modelos de linguagem pequenos se aproximem do desempenho de LLMs em Text-to-SQL via destilação de conhecimento

Pesquisadores introduzem o SQuaD-SQL, um método que permite que modelos de linguagem pequenos (SLMs) alcancem desempenho próximo ao de LLMs na tarefa Text-to-SQL enquanto melhoram significativamente a eficiência por meio de destilação de conhecimento e geração de dados sintéticos.

A abordagem compreende três componentes-chave: geração de dados sintéticos baseada em LLM usando extração de conhecimento estruturado, ajuste fino eficiente em parâmetros para treinamento em uma única GPU de consumo, e ajuste fino adaptativo ao domínio para melhorar o desempenho em domínios específicos. Experimentos no conjunto de dados WikiSQL demonstram que o SQuaD-SQL alcança uma precisão de execução de 86,9% no conjunto de teste.

Esses resultados sugerem que, com estratégias de treinamento adequadas, os SLMs podem servir como alternativas práticas e eficientes para aplicações Text-to-SQL em ambientes com recursos limitados.