저자들은 Snowflake 플랫폼 내의 AI 네이티브 SQL 함수에서 text-to-SQL 모델을 평가하기 위해 설계된 125개의 실제 데이터베이스에 걸쳐 465개의 검증된 인스턴스로 구성된 Spider 2.0-AIFunc 벤치마크를 소개합니다.

  • 이 벤치마크는 분류, 필터링, 감정 분석, 추출, 유사도 검색 및 집계 등 6가지 유형의 AI 함수를 다룹니다.
  • 인스턴스는 에이전트 기반 파이프라인을 통해 구축되었으며, 소스 작업을 AI 네이티브 형태로 재작성하면서 모호성을 줄이기 위해 자연어 지시를 정제했습니다.
  • 모든 인스턴스는 출시 전에 결과 안정성을 확인하기 위해 시간적으로 분리된 창에서 여러 라운드 반복 실행 프로토콜을 통과합니다.
  • 평가 결과 독점 모델은 67-70%의 실행 정확도에 도달하는 반면, 최상의 오픈소스 모델은 58.1%를 달성했으며, 이 격차는 술어 지정 및 스키마 그라운딩 오류로 인해 발생합니다.
  • text-to-SQL을 위한 전통적인 에이전트 프레임워크는 AI 네이티브 SQL로 효과적으로 이전되지 않으며, 최소한의 설정이 더 정교한 대안과 동등하거나 더 나은 성능을 일관되게 보여줍니다.

이 벤치마크는 모델이 AI 네이티브 SQL을 생성할 수 있는지에 대한 첫 번째 신호를 제공하며, 기존 벤치마크가 전통적인 SQL만 평가한다는 한계를 해결합니다.