TTT auto-guiado selecciona fragmentos de evidencia para mejorar la precisión de LLM de contexto largo

Los investigadores proponen Entrenamiento en Tiempo de Prueba Auto-guiado (S-TTT) para abordar la dificultad de utilizar entradas largas en modelos de lenguaje grandes, donde el entrenamiento estándar en tiempo de prueba sobre fragmentos aleatorios a menudo degrada el rendimiento debido al ruido.

El método funciona haciendo que el modelo identifique los fragmentos de evidencia relevantes dentro del contexto antes de la adaptación, aplicando el objetivo de entrenamiento solo a esos segmentos seleccionados. Este enfoque evita el costo prohibitivo del entrenamiento con todo el contexto mientras mitiga los efectos negativos de los datos irrelevantes.

En las pruebas LongBench-v2 y LongBench-Pro, S-TTT mejora la precisión para Qwen3-4B-Thinking-2507 y Llama-3.1-8B-Instruct, logrando una mejora relativa de hasta el 15%.