SQuaD-SQL позволяет малым языковым моделям приближаться к производительности LLM в задаче Text-to-SQL с помощью дистилляции знаний

Исследователи представляют SQuaD-SQL, метод, который позволяет малым языковым моделям (SLM) достигать производительности, близкой к LLM, в задаче Text-to-SQL, значительно улучшая эффективность за счет дистилляции знаний и генерации синтетических данных.

Подход включает три ключевых компонента: генерация синтетических данных на основе LLM с использованием извлечения структурированных знаний, параметрически эффективное дообучение для тренировки на одном потребительском GPU и адаптация к предметной области для улучшения производительности в целевых доменах. Эксперименты на наборе данных WikiSQL показывают, что SQuaD-SQL достигает точности выполнения 86,9% на тестовой выборке.

Эти результаты свидетельствуют о том, что при правильных стратегиях обучения SLM могут служить практичной и эффективной альтернативой для приложений Text-to-SQL в условиях ограниченных ресурсов.