Самонаправляемое TTT выбирает отрывки доказательств для повышения точности длинноконтекстных LLM

Исследователи предлагают самонаправляемое тестовое обучение во время тестирования (S-TTT) для решения проблемы использования длинных входных данных в больших языковых моделях, где стандартное тестовое обучение на случайных отрывках часто ухудшает производительность из-за шума.

Метод работает за счёт того, что модель идентифицирует релевантные отрывки доказательств внутри контекста перед адаптацией, применяя целевую функцию обучения только к этим выбранным сегментам. Этот подход избегает чрезмерной стоимости полного контекстного обучения, одновременно смягчая негативные эффекты нерелевантных данных.

На бенчмарках LongBench-v2 и LongBench-Pro S-TTT повышает точность для Qwen3-4B-Thinking-2507 и Llama-3.1-8B-Instruct, достигая относительного улучшения до 15%.