SQuaD-SQL은 지식 증류를 통해 소규모 언어 모델이 Text-to-SQL에서 LLM 성능에 근접하도록 함

연구자들은 SQuaD-SQL이라는 방법을 소개했습니다. 이 방법은 지식 증류와 합성 데이터 생성을 통해 효율성을 크게 향상시키면서 소규모 언어 모델(SLMs)이 Text-to-SQL 작업에서 LLM 수준의 성능에 근접하도록 합니다.

이 접근 방식은 세 가지 주요 구성 요소로 이루어져 있습니다: 구조화된 지식 추출을 사용한 LLM 기반 합성 데이터 생성, 단일 소비자용 GPU에서 훈련하기 위한 매개변수 효율적 파인튜닝, 그리고 대상 도메인에서 성능을 향상시키기 위한 도메인 적응형 파인튜닝입니다. WikiSQL 데이터셋에 대한 실험 결과, SQuaD-SQL이 테스트 세트에서 86.9%의 실행 정확도를 달성했음이 입증되었습니다.

이러한 결과는 적절한 훈련 전략을 통해 SLMs가 자원 제약이 있는 환경에서 Text-to-SQL 애플리케이션을 위한 실용적이고 효율적인 대안이 될 수 있음을 시사합니다.