研究者たちは、プローブ情報を用いた初期化を施した再帰的特徴マシン（RFM）アルゴリズムを適応させ、大規模言語モデルにおける多次元拒否部分空間を効率的に特定しました。この手法により、Qwen 3のような推論モデルやQwen 2.5のような非推論モデルの両方で、数秒以内に部分空間の抽出が可能になり、既存の方法が抱える計算上の制約に対処します。

  • この手法はRFMを活用し、従来の技術よりも大幅に高速に多次元部分空間を計算します。
  • アブレーションタスクにおいて、他の部分空間抽出手法と比較してより優れたパフォーマンスを実現します。
  • この技術は、推論モデルと非推論モデルの両方のアーキテクチャに適用可能です。

RFMは、既存の部分空間抽出手法に対する低コストでスケーラブルな補完手段を提供し、モデルの安全動作のよりアクセスしやすいモニタリングを可能にします。