Um estudo propõe uma metodologia para refinar sistemas de Geração Aumentada por Recuperação (RAG) integrando um mecanismo de feedback auxiliar que utiliza entrada gerada por humanos. Esta abordagem visa melhorar a precisão e relevância das respostas por meio de aprendizado contínuo e iterativo impulsionado pelo engajamento do usuário.
- O sistema utiliza uma implementação com humano no loop onde o feedback é coletado, classificado e integrado ao fluxo de trabalho de inferência.
- A eficácia foi validada contra três conjuntos de dados de benchmark diversos focados em conhecimento geral e de domínio personalizado.
- A avaliação empregou uma estratégia LLM-as-a-Judge para avaliar as melhorias de desempenho.
A estrutura destaca o potencial de aprimoramentos impulsionados por feedback em tecnologias de recuperação de informação adaptativa.