Для повышения надёжности при генерации структурированного вывода из больших языковых моделей предлагается метод, который подает ошибки валидации и предыдущий вывод модели обратно в промпт во время повторных попыток. Этот подход превращает процесс из случайного перебора ответов в самокоррекцию конкретных ошибок путем редактирования предыдущей попытки.
- Техника включает перехват ошибок валидации и добавление сообщения, содержащего отформатированную ошибку и сериализованный предыдущий ответ, к следующему промпту.
- Ошибки должны быть описаны понятными для модели терминами, например, указывая, что поле требует целое число, но получена строка.
- Предыдущий вывод модели включается, чтобы она могла редактировать конкретные неверные части, а не перегенерировать весь ответ.
- Компромиссы включают увеличенную задержку из-за дополнительных вызовов и более длинные промпты при ошибках, что требует ограничения числа попыток.
- Этот метод работает только тогда, когда недопустимый вывод достаточно разборчив для подачи обратно в модель.
Эта стратегия помогает пользователям достигать более надежных структурированных выводов, используя способность модели исправлять собственные ошибки, а не полагаясь на случайные повторные попытки.