Исследователи из Cymela, изучающие непрерывное латентно-пространственное рассуждение с моделью Monarch Chrysalis v1, обнаружили специфический режим сбоя, при котором внутренние представления модели не способствуют генерации. Хотя каузальные тесты подтвердили, что латентные векторы явно зависят от вопроса и существенно различаются между запросами, перенос этих состояний между задачами показал, что качество ответа практически не меняется.

  • Последующий декодер оказывается нечувствительным к информации о задаче, присутствующей в латентном канале.
  • Команда выявила архитектурные и обучающие проблемы с момента создания начального чекпоинта и запускает переработанную архитектуру.
  • Публичный чекпоинт для модели hyper-3b-latent был выпущен вместе с результатами исследования.

Авторы не утверждают, что механизм уже работает, и воздерживаются от дальнейших заявлений до тех пор, пока текущие запуски не определят, устраняют ли архитектурные изменения проблему.