يتيح SQuaD-SQL للنماذج اللغوية الصغيرة الاقتراب من أداء نماذج LLM في مهمة تحويل النص إلى SQL عبر تقنيات التقطير المعرفي

يقدم الباحثون طريقة SQuaD-SQL، وهي أسلوب يسمح للنماذج اللغوية الصغيرة (SLMs) بتحقيق أداء قريب من أداء نماذج LLM في مهمة تحويل النص إلى SQL مع تحسين الكفاءة بشكل كبير من خلال التقطير المعرفي وتوليد البيانات الاصطناعية.

يتكون هذا النهج من ثلاثة مكونات رئيسية: توليد بيانات اصطناعية تعتمد على نماذج LLM باستخدام استخراج المعرفة المهيكلة، ضبط دقيق فعال من حيث المعلمات للتدريب على بطاقة GPU استهلاكية واحدة، وضبط دقيق متكيف مع المجال لتعزيز الأداء في المجالات المستهدفة. أظهرت التجارب على مجموعة بيانات WikiSQL أن SQuaD-SQL حقق دقة تنفيذ تبلغ 86.9% على مجموعة الاختبار.

تشير هذه النتائج إلى أنه باستخدام استراتيجيات تدريب مناسبة، يمكن للنماذج اللغوية الصغيرة (SLMs) أن تكون بدائل عملية وفعالة لتطبيقات تحويل النص إلى SQL في البيئات محدودة الموارد.