Self-Guided Test-Time Training sélectionne des segments de preuve pour améliorer le raisonnement sur les contextes longs

Les chercheurs proposent Self-Guided Test-Time Training (S-TTT), une méthode qui améliore l'utilisation des contextes longs en permettant au modèle d'identifier les segments de preuve pertinents avant l'adaptation. Cette approche répond aux problèmes de coût élevé et de bruit liés à l'application du test-time training sur des contextes entiers ou échantillonnés aléatoirement.

• S-TTT sélectionne des segments de preuve spécifiques pour l'adaptation des paramètres plutôt que d'utiliser le contexte complet ou des échantillons aléatoires.
• L'objectif standard de modélisation du langage n'est appliqué qu'à ces segments sélectionnés pour éviter de dégrader les performances du modèle de base.
• Sur LongBench-v2 et LongBench-Pro, S-TTT améliore la précision de Qwen3-4B-Thinking-2507 et Llama-3.1-8B-Instruct jusqu'à 15 % en amélioration relative.