TTT auto-guiado seleciona trechos de evidência para melhorar a precisão de LLMs de contexto longo

Pesquisadores propõem o Treinamento em Tempo de Teste Auto-guiado (S-TTT) para abordar a dificuldade de utilizar entradas longas em modelos de linguagem grandes, onde o treinamento padrão em tempo de teste em trechos aleatórios frequentemente degrada o desempenho devido ao ruído.

O método funciona fazendo com que o modelo identifique os trechos de evidência relevantes dentro do contexto antes da adaptação, aplicando o objetivo de treinamento apenas a esses segmentos selecionados. Essa abordagem evita o custo proibitivo do treinamento com todo o contexto enquanto mitiga os efeitos negativos de dados irrelevantes.

Nos benchmarks LongBench-v2 e LongBench-Pro, o S-TTT melhora a precisão para Qwen3-4B-Thinking-2507 e Llama-3.1-8B-Instruct, alcançando uma melhoria relativa de até 15%.