Monarch Chrysalis v1モデルを用いた連続潜在空間推論を調査しているCymelaの研究チームは、モデルの内部表現が生成を効果的に支援しない特定の障害モードを観察しました。因果テストにより、潜在ベクトルが明確に質問固有であり、プロンプト間で大幅に変化することが確認されましたが、問題間でこれらの状態を移植しても回答品質はほとんど変化しませんでした。

  • 下流のデコーダは、潜在チャネルに含まれるタスク固有の情報に対して不感であるようです。
  • チームは初期チェックポイントからアーキテクチャおよびトレーニングの問題を特定しており、改訂版アーキテクチャを実行中です。
  • hyper-3b-latentモデルの公開チェックポイントが発見と共にリリースされました。

著者らはこのメカニズムがまだ機能しているとは主張しておらず、現在のランでアーキテクチャの変更が問題を解決するかどうかを決定するまで、さらなる主張を保留しています。