Исследователи предлагают легкий подход к восстановлению на основе промптов для повышения устойчивости при сбоях вызовов бэкенд-базы данных или возврате несовпадающей информации агентами диалогов, ориентированных на задачу, без необходимости переобучения.

  • Оценено в шести семействах моделей с открытым весом (DeepSeek-R1, Gemma-2, Llama-3, Mistral, Phi-3 и Qwen-2.5) и четырех условиях базы данных, включая пустые результаты и ошибки API.
  • Протестировано на бенчмарках с внедренными ошибками, построенных на наборах данных MultiWOZ 2.2 и SGD.
  • Наивные агенты галлюцинировали в 30,5% случаев отказа на MultiWOZ и в 20,9% на SGD.
  • Стратегия Guided-Retry снизила галлюцинации на 50% на MultiWOZ (до 15,3%) и на 42% на SGD (до 12,2%).
  • Остаточные галлюцинации оставались значительными (6–37% в зависимости от модели), причем ошибки неверной домена были самым сложным случаем.

Исследование демонстрирует, что условие ответов на основе структурированного статуса базы данных значительно улучшает показатели безопасности, хотя остаточные ошибки сохраняются, особенно в сложных сценариях поиска.