SQuaD-SQLは知識蒸留により小規模言語モデルのText-to-SQLにおけるLLM性能への接近を可能にする

研究者らは、SQuaD-SQLという手法を導入した。この手法は、知識蒸留と合成データ生成を通じて効率を大幅に向上させながら、小規模言語モデル（SLMs）がText-to-SQLタスクにおいてLLMに近い性能を達成することを可能にする。

このアプローチは3つの主要なコンポーネントで構成されている：構造化知識抽出を用いたLLMベースの合成データ生成、単一の消費者向けGPUでのトレーニングのためのパラメータ効率的なファインチューニング、および対象ドメインでの性能向上のためのドメイン適応型ファインチューニング。WikiSQLデータセット上での実験により、SQuaD-SQLはテストセットで86.9%の実行精度を達成することが示された。

これらの結果は、適切なトレーニング戦略があれば、SLMsがリソース制約のある環境におけるText-to-SQLアプリケーションの実用的かつ効率的な代替手段となり得ることを示唆している。