Los investigadores proponen ReContext, un método de inferencia sin entrenamiento que mejora el razonamiento de contexto largo repitiendo recursivamente las evidencias relevantes dentro del mecanismo de atención interno del modelo.
- El método construye un pool de evidencias condicionado a la consulta utilizando señales de relevancia internas del modelo y lo repite antes de la generación final, preservando el contexto original completo.
- Este enfoque separa la organización de evidencias de la generación de respuestas sin requerir entrenamiento, memoria externa o poda de contexto.
- Los experimentos en ocho conjuntos de datos de contexto largo con una longitud de 128K muestran mejoras consistentes en los backbones Qwen3-4B, Qwen3-8B y Llama3-8B.
- La técnica logra el mejor rango promedio en los tres modelos probados al utilizar eficazmente las evidencias ya presentes en la entrada.
ReContext aborda la brecha entre el acceso al contexto y su utilización efectiva, permitiendo que los LLM aprovechen mejor las entradas largas para tareas de razonamiento sin sobrecarga adicional de entrenamiento.