Self-Guided TTT sélectionne des segments de preuve pour améliorer la précision des LLM à long contexte

Les chercheurs proposent l'entraînement au moment du test auto-guidé (S-TTT) pour répondre à la difficulté d'utiliser de longues entrées dans les grands modèles de langage, où l'entraînement standard au moment du test sur des segments aléatoires dégrade souvent les performances en raison du bruit.

La méthode fonctionne en ayant le modèle identifier les segments de preuve pertinents dans le contexte avant l'adaptation, en appliquant l'objectif d'entraînement uniquement à ces segments sélectionnés. Cette approche évite le coût prohibitif de l'entraînement sur tout le contexte tout en atténuant les effets négatifs des données non pertinentes.

Sur les benchmarks LongBench-v2 et LongBench-Pro, S-TTT améliore la précision pour Qwen3-4B-Thinking-2507 et Llama-3.1-8B-Instruct, atteignant jusqu'à une amélioration relative de 15%.