研究人员推出了 SQuaD-SQL,这是一种允许小型语言模型 (SLM) 在 Text-to-SQL 任务中实现接近 LLM 性能的方法,同时通过知识蒸馏和合成数据生成显著提高效率。

该方法包含三个关键组件:使用结构化知识提取的基于 LLM 的合成数据生成、在单个消费级 GPU 上进行训练的参数量高效微调,以及针对目标领域增强性能的领域自适应微调。在 WikiSQL 数据集上的实验表明,SQuaD-SQL 在测试集上达到了 86.9% 的执行准确率。

这些结果表明,通过适当的训练策略,SLM 可以作为资源受限环境中 Text-to-SQL 应用的实用且高效的替代方案。