Саймон Уиллисон использовал Claude Code с моделью Fable 5 для автоматизации оценки и оптимизации системных промптов для агента Datasette, конкретно направив усилия на функцию выполнения запросов SQL только для чтения. Процесс включал установку последней альфа-версии Datasette и DSPy для выявления слабых мест в том, как агент обрабатывает информацию о схеме.
- Автоматизированная исследовательская задача использовала модели GPT 4.1 mini и nano для тестирования вариаций промптов.
- Анализ показал, что исключение имен столбцов из списков схемы приводило к угадыванию имен столбцов и циклам повторных попыток ошибок.
- Ключевым выводом стало то, что совет избегать вызова describe_table при наличии информации приводил к неверным предположениям, таким как page_count или o.order_id.
- Предлагаемое решение включает прямое включение имен столбцов в список схемы промпта или смягчение ограничений на вызовы описания таблицы.
Этот подход демонстрирует, как автоматизированные агенты могут систематически выявлять и устранять конкретные режимы сбоев в системных промптах LLM, повышая надежность для задач запроса данных.