Исследование показывает, что большие языковые модели поддерживают внутреннюю оценку оставшейся длины ответа, которую можно декодировать из замороженных скрытых состояний. Исследователи обучили минимальные по ёмкости линейные зонды на трёх моделях с открытыми весами объёмом 7–8B на семи наборах данных в стиле завершения, чтобы изучить это явление.

  • Общая длина ответа линейно декодируется из последнего скрытого состояния промпта до генерации любого вывода.
  • Направления зонда широко переносятся на контролируемые синтетические завершения, превосходя статистические базовые уровни.
  • На завершениях с высокой потерей оценка зонда смещается вверх, когда модель откатывается и перезапускает решение.

Результаты указывают на то, что LLM поддерживают планоподобное внутреннее представление длины вывода, отличное от результатов о невозможности точного подсчёта для трансформеров.