Исследователи предлагают ReContext, метод вывода без обучения, который улучшает рассуждение с длинным контекстом путём рекурсивного воспроизведения релевантных доказательств внутри механизма внутреннего внимания модели.

  • Метод формирует пул доказательств, обусловленный запросом, используя внутренние сигналы релевантности модели, и воспроизводит его перед финальным генерированием, сохраняя полный исходный контекст.
  • Этот подход разделяет организацию доказательств и генерацию ответа без необходимости обучения, внешней памяти или прунинга контекста.
  • Эксперименты на восьми наборах данных с длинным контекстом при длине 128K показывают последовательные улучшения для баз Qwen3-4B, Qwen3-8B и Llama3-8B.
  • Техника достигает наилучшего среднего ранга на всех трёх протестированных моделях за счёт эффективного использования доказательств, уже присутствующих во входных данных.

ReContext устраняет разрыв между доступом к контексту и его эффективным использованием, позволяя LLM лучше использовать длинные входы для задач рассуждения без дополнительных накладных расходов на обучение.