SQuaD-SQL permite que los modelos de lenguaje pequeños se acerquen al rendimiento de LLM en Text-to-SQL mediante destilación de conocimiento

Los investigadores presentan SQuaD-SQL, un método que permite a los modelos de lenguaje pequeños (SLM) alcanzar un rendimiento cercano al de LLM en la tarea Text-to-SQL mientras mejoran significativamente la eficiencia mediante destilación de conocimiento y generación de datos sintéticos.

El enfoque comprende tres componentes clave: generación de datos sintéticos basada en LLM utilizando extracción de conocimiento estructurado, ajuste fino eficiente en parámetros para entrenar en una sola GPU de consumo, y ajuste fino adaptativo al dominio para mejorar el rendimiento en dominios específicos. Los experimentos en el conjunto de datos WikiSQL demuestran que SQuaD-SQL alcanza una precisión de ejecución del 86,9% en el conjunto de prueba.

Estos resultados sugieren que con estrategias de entrenamiento adecuadas, los SLM pueden servir como alternativas prácticas y eficientes para aplicaciones Text-to-SQL en entornos con recursos limitados.