Самонаправляемое тестовое обучение выбирает отрывки доказательств для улучшения рассуждений в длинном контексте

Исследователи предлагают метод самонаправляемого тестового обучения (S-TTT), который улучшает использование длинного контекста за счет того, что модель идентифицирует релевантные отрывки доказательств перед адаптацией. Этот подход решает проблемы высокой стоимости и шума при применении тестового обучения к полному или случайно выбранному контексту.

• S-TTT выбирает конкретные отрывки доказательств для адаптации параметров, а не использует весь контекст или случайные выборки.
• Стандартная цель языкового моделирования применяется только к этим выбранным отрывкам, чтобы избежать ухудшения производительности базовой модели.
• На наборах LongBench-v2 и LongBench-Pro S-TTT повышает точность для Qwen3-4B-Thinking-2507 и Llama-3.1-8B-Instruct на величину до 15% относительного улучшения.