В исследовании предлагается методология уточнения систем Retrieval Augmented Generation (RAG) путем интеграции вспомогательного механизма обратной связи, использующего ввод, созданный человеком. Этот подход направлен на повышение точности и релевантности ответов за счет непрерывного итеративного обучения, стимулируемого взаимодействием пользователей.
- Система использует реализацию с участием человека в контуре, где обратная связь собирается, классифицируется и интегрируется в рабочий процесс вывода.
- Эффективность была проверена на трех разнообразных наборах данных для тестирования, фокусирующихся на общих и специализированных знаниях предметной области.
- Оценка применяла стратегию LLM-as-a-Judge для оценки улучшений производительности.
Фреймворк подчеркивает потенциал улучшений, основанных на обратной связи, в технологиях адаптивного информационного поиска.