El Entrenamiento en Tiempo de Prueba Autoguiado selecciona fragmentos de evidencia para mejorar el razonamiento de contexto largo

Los investigadores proponen el Entrenamiento en Tiempo de Prueba Autoguiado (S-TTT), un método que mejora la utilización del contexto largo al hacer que el modelo identifique los fragmentos de evidencia relevantes antes de la adaptación. Este enfoque aborda los problemas de alto costo y ruido al aplicar el entrenamiento en tiempo de prueba a contextos completos o muestreados aleatoriamente.

• S-TTT selecciona fragmentos específicos de evidencia para la adaptación de parámetros en lugar de usar el contexto completo o muestras aleatorias.
• El objetivo estándar de modelado de lenguaje se aplica solo a estos fragmentos seleccionados para evitar degradar el rendimiento del modelo base.
• En LongBench-v2 y LongBench-Pro, S-TTT mejora la precisión para Qwen3-4B-Thinking-2507 y Llama-3.1-8B-Instruct hasta en un 15% de mejora relativa.