Les chercheurs proposent ReContext, une méthode d'inférence sans entraînement qui améliore le raisonnement à long contexte en rejouant de manière récursive les preuves pertinentes au sein du mécanisme d'attention interne du modèle.
- La méthode construit un pool de preuves conditionné par la requête en utilisant des signaux de pertinence internes au modèle et le rejoue avant la génération finale tout en préservant le contexte original complet.
- Cette approche sépare l'organisation des preuves de la génération de la réponse sans nécessiter d'entraînement, de mémoire externe ou de pruning du contexte.
- Les expériences sur huit jeux de données à long contexte avec une longueur de contexte de 128K montrent des améliorations cohérentes sur les backbones Qwen3-4B, Qwen3-8B et Llama3-8B.
- La technique atteint le meilleur rang moyen sur les trois modèles testés en utilisant efficacement les preuves déjà présentes dans l'entrée.
ReContext comble le fossé entre l'accès au contexte et son utilisation efficace, permettant aux LLM de mieux exploiter les longues entrées pour les tâches de raisonnement sans surcharge d'entraînement supplémentaire.