Авторы представляют Spider 2.0-AIFunc, бенчмарк из 465 проверенных примеров на базе 125 реальных баз данных, предназначенный для оценки текстово-SQL моделей в отношении AI-нативных SQL-функций в платформе Snowflake.
- Бенчмарк охватывает шесть типов AI-функций, включая классификацию, фильтрацию, анализ тональности, извлечение, поиск по схожести и агрегацию.
- Примеры созданы с помощью агентного конвейера, который переписывает исходные задачи в AI-нативный формат, одновременно уточняя инструкции на естественном языке для снижения неоднозначности.
- Все примеры проходят многоэтапный протокол повторных выполнений в разделённых во времени окнах для подтверждения стабильности результатов перед выпуском.
- Оценка показывает, что проприетарные модели достигают 67–70% точности выполнения, тогда как лучшая open-source модель достигает 58,1%; разрыв обусловлен ошибками в спецификации предикатов и привязке к схеме.
- Традиционные агентные фреймворки для текстово-SQL не переносятся эффективно на AI-нативный SQL: минимальные конфигурации стабильно соответствуют или превосходят более сложные альтернативы.
Этот бенчмарк даёт первый сигнал о том, способны ли модели генерировать AI-нативный SQL, устраняя ограничение существующих бенчмарков, которые оценивают только традиционный SQL.