ある研究は、人間が生成した入力を活用する補助的なフィードバックメカニズムを統合することで、Retrieval Augmented Generation (RAG) システムを洗練させる手法を提案している。このアプローチは、ユーザーのエンゲージメントによって駆動される継続的かつ反復的な学習を通じて、応答の精度と関連性を向上させることを目的としている。

  • このシステムは、フィードバックが収集、分類、推論ワークフローへの統合が行われるヒューマンインザループの実装を利用している。
  • 効果性は、一般およびカスタムドメインの知識に焦点を当てた3つの多様なベンチマークデータセットに対して検証された。
  • 性能の向上を評価するために、LLM-as-a-Judge戦略が採用された。

このフレームワークは、適応型情報検索技術におけるフィードバック駆動型の強化の可能性を示している。