arxiv arXiv cs.CL · há 3 d · fonte: há 5 d · research

Envenenamento por documentos desatualizados faz com que a recuperação desatualizada substitua as respostas corretas do modelo

Traduzido do English → Português (BR)

Pesquisadores identificam o "envenenamento por documentos desatualizados", uma falha de alinhamento temporal na Geração Aumentada por Recuperação (RAG) em que evidências externas desatualizadas levam os modelos a fornecer respostas incorretas, mesmo sabendo a resposta correta sem a recuperação.

O estudo constrói um benchmark com 317 reversões de conhecimento verificadas em medicina, direito, software e política de plataforma.
A recuperação desatualizada inverte 30% das respostas do Llama e 37% das do Qwen mesmo sem instruções para confiar no documento.
Instruções explícitas de seguir elevam as taxas de envenenamento para 66% no Llama e 75% no Qwen.
O envenenamento varia de 17-91% entre quatro modelos abertos e domínios, enquanto evidências atualizadas são seguidas em 97-100% dos testes.
Um reclassificador híbrido fixo sensível à recência reduz o envenenamento em 4,6-10,0 pontos quando as datas estão precisas.

As descobertas indicam que o RAG confiável requer confiança seletiva, onde os modelos devem determinar não apenas o que a evidência recuperada diz, mas se ela ainda se aplica.

Importância 2/3 arXiv cs.CL Evaluation & benchmarks Retrieval & RAG

Artigos relacionados

media Hugging Face Forums · há 40 d · 26 visualizações

Pesquisador lança Ghost Search, uma camada de busca nativa para MCP em RAG

Um pesquisador lançou o código aberto do Ghost Search, um agregador de meta-busca que preserva a privacidade e foi projetado para reduzir a dependência de APIs pagas em fluxos de trabalho de Geração Aumentada por Recuperação. O projeto combina 14 mecanismos de busca onion com uma interface de servidor MCP, permitindo integração direta em agentes LLM sem infraestrutura de backend ou taxas por consulta.

media Hugging Face Forums · há 41 d · 19 visualizações

SplatRAG 3+ alcança R@10 de 0.8804 no SciFact com gírias na memória

O SplatRAG 3+ demonstra que uma memória local baseada em Gaussian-splatting pode manter alta precisão de recuperação no benchmark SciFact enquanto armazena simultaneamente 5.000 linhas de gírias do Urban Dictionary sem degradação.

arxiv arXiv cs.CL · há 44 d · 24 visualizações

Nemotron-3-Embed fecha lacuna comercial em benchmarks de recuperação do MuSiQue

Uma nova auditoria de benchmarks de recuperação multi-hop revela que o Nemotron-3-Embed-8B da NVIDIA fechou a lacuna de desempenho entre incorporadores com licença comercial e o âncora não comercial NV-Embed-v2 no benchmark MuSiQue. Lançado em 16 de julho de 2026, este modelo é a única opção com licença comercial e gratuita para auto-hospedagem que tem desempenho indistinguível do padrão acadêmico.

media Hugging Face Forums · há 70 d · 17 visualizações

Autor propõe registro aberto de k para saturação de evidência em LLMs locais

O autor publicou um artigo piloto e um registro aberto no Hugging Face para medir o ponto de saturação de evidência (k*) dos modelos de linguagem. Esta métrica determina o número ideal de fragmentos de evidência a injetar nos prompts, pois adicionar mais contexto não melhora monotonicamente a correção e pode aumentar o custo ou a contaminação epistêmica.

arxiv arXiv cs.CL · há 76 d · 18 visualizações

Sinais de LLM-as-a-judge falham em otimizar o reconhecimento de tabelas em loop fechado

Um estudo usando FinTabNet e OmniDocBench demonstra que os sinais de LLM-as-a-judge são insuficientes para otimizar a regeneração em loop fechado no reconhecimento de tabelas. A pesquisa revela que as pontuações dos juízes frequentemente empataram, os rankings não foram reproduzíveis e o sistema falhou em recuperar melhores candidatos produzidos pela iteração.