Астрономическая база данных ALeRCE представляет систему текст-в-СУЛЬ, использующую большие языковые модели, позволяющую генерировать исполняемые запросы SQL на естественном языке. Система была оценена на 110 парах естественного языка и SQL, и использует пошаговый подход, превосходящий базовые модели с прямым выводом. Модель Claude Opus 4.6 достигает высокой точности при выполнении простых запросов и показывает лучшую общую производительность среди всех оцененных моделей.
arxiv
arXiv cs.AI
·
8 д назад
·
research
ALERCЕ запускает систему текст-в-СУЛЬ с использованием больших языковых моделей
Переведено с English → Русский
Бенчмарки
| Бенчмарк | Модель | Результат |
|---|---|---|
| SWE-bench Verified | Claude Opus 4.6 | 0.97% |
| SWE-bench Verified | Gemini 2.5 Pro | — |
| SWE-bench Verified | Gemini 3 Flash | — |
| SWE-bench Verified | GPT-5.2-Codex | — |