Treinamento em Tempo de Teste Autoguiado seleciona trechos de evidência para melhorar o raciocínio de contexto longo

Pesquisadores propõem o Treinamento em Tempo de Teste Autoguiado (S-TTT), um método que melhora a utilização de contexto longo ao fazer com que o modelo identifique trechos de evidência relevantes antes da adaptação. Esta abordagem aborda os problemas de alto custo e ruído ao aplicar treinamento em tempo de teste a contextos inteiros ou amostrados aleatoriamente.

• S-TTT seleciona trechos específicos de evidência para adaptação de parâmetros, em vez de usar o contexto completo ou amostras aleatórias.
• O objetivo padrão de modelagem de linguagem é aplicado apenas a esses trechos selecionados para evitar degradar o desempenho do modelo base.
• No LongBench-v2 e LongBench-Pro, S-TTT melhora a precisão para Qwen3-4B-Thinking-2507 e Llama-3.1-8B-Instruct em até 15% de melhoria relativa.