Pesquisadores propõem o ReContext, um método de inferência sem treinamento que aprimora o raciocínio de contexto longo ao reexecutar recursivamente as evidências relevantes dentro do mecanismo de atenção interno do modelo.
- O método constrói um pool de evidências condicionado à consulta usando sinais de relevância internos do modelo e o reexecuta antes da geração final, preservando o contexto original completo.
- Esta abordagem separa a organização das evidências da geração da resposta sem exigir treinamento, memória externa ou poda de contexto.
- Experimentos em oito conjuntos de dados de contexto longo com comprimento de 128K mostram melhorias consistentes nos backbones Qwen3-4B, Qwen3-8B e Llama3-8B.
- A técnica alcança a melhor média de classificação em todos os três modelos testados ao utilizar eficazmente as evidências já presentes na entrada.
O ReContext aborda a lacuna entre o acesso ao contexto e sua utilização efetiva, permitindo que os LLMs aproveitem melhor entradas longas para tarefas de raciocínio sem sobrecarga adicional de treinamento.