SQuaD-SQL memungkinkan model bahasa kecil mendekati kinerja LLM pada tugas Text-to-SQL melalui distilasi pengetahuan

Para peneliti memperkenalkan SQuaD-SQL, sebuah metode yang memungkinkan model bahasa kecil (SLMs) mencapai kinerja mendekati LLM pada tugas Text-to-SQL sambil secara signifikan meningkatkan efisiensi melalui distilasi pengetahuan dan generasi data sintetis.

Pendekatan ini terdiri dari tiga komponen utama: generasi data sintetis berbasis LLM menggunakan ekstraksi pengetahuan terstruktur, penyetelan halus efisien parameter untuk pelatihan pada satu GPU kelas konsumen, dan penyetelan halus adaptif domain untuk meningkatkan kinerja di domain yang ditargetkan. Eksperimen pada dataset WikiSQL menunjukkan bahwa SQuaD-SQL mencapai akurasi eksekusi sebesar 86,9% pada set uji.

Hasil-hasil ini menunjukkan bahwa dengan strategi pelatihan yang tepat, SLMs dapat berfungsi sebagai alternatif yang praktis dan efisien untuk aplikasi Text-to-SQL di lingkungan dengan sumber daya terbatas.