著者は、Snowflakeプラットフォーム内のAIネイティブSQL関数におけるtext-to-SQLモデルを評価するために設計された125のリアルワールドデータベースにわたる465件の検証済みインスタンスからなるSpider 2.0-AIFuncベンチマークを紹介します。

  • このベンチマークは、分類、フィルタリング、感情分析、抽出、類似度検索、集約を含む6種類のAI関数をカバーしています。
  • インスタンスは、エージェントベースのパイプラインを通じて構築され、ソースタスクをAIネイティブな形式に書き換えながら、曖昧さを減らすために自然言語の指示を洗練させました。
  • すべてのインスタンスは、リリース前に結果の安定性を確認するために時間的に分離されたウィンドウ間で複数ラウンドの反復実行プロトコルに合格しています。
  • 評価により、独自モデルの実行精度が67〜70%に達する一方、最良のオープンソースモデルは58.1%を達成し、そのギャップは述語指定およびスキーマグラウンディングのエラーによって引き起こされています。
  • text-to-SQL用の従来のエージェントフレームワークはAIネイティブSQLには効果的に移行せず、最小限の設定がより洗練された代替案と同等かそれ以上にパフォーマンスを発揮することが一貫して示されています。

このベンチマークは、モデルがAIネイティブSQLを生成できるかどうかに関する最初の信号を提供し、既存のベンチマークが従来のSQLのみを評価するという限界に対処します。