Исследователи представляют LOTUS, метод, использующий циклические дополненные Transformers для выполнения многошагового рассуждения в скрытых состояниях, эффективно сокращая разрыв в производительности между латентным и явным цепочечным мышлением (chain-of-thought) на масштабе 3B параметров. Модель обрабатывает K латентных блоков параллельно в течение R итераций с функцией потерь перекрестной энтропии на токенах золотого стандарта шагов CoT.

  • LOTUS — первый метод латентного CoT, достигающий производительности явного CoT на масштабе 3B.
  • Он снижает задержку фазы размышления в 2.5–6.9 раза по сравнению с токеном за токеном.
  • Проецирование пост-циклических латентов через базовую голову LM восстанавливает золотые шаги рассуждения и выявляет альтернативные допустимые промежуточные шаги.
  • Абляции подтверждают, что как циклическая основа, так и параллельное обучение на токенах золотого CoT необходимы для этой производительности.

Подход демонстрирует, что латентные пространства могут быть интерпретируемыми и согласованными с CoT, предлагая более эффективную альтернативу явной генерации токенов для сложных задач рассуждения.