研究者たちは、プローブ情報に基づく初期化を用いた再帰的特徴マシン（RFM）アルゴリズムを適応させ、大規模言語モデルにおける多次元拒否部分空間を効率的に特定しました。このアプローチにより、Qwen 3のような推論モデルやQwen 2.5のような非推論モデルの両方で、数秒以内に部分空間の抽出が可能になり、既存の方法が抱える計算上の制約に対処します。

  • この手法はRFMを活用し、従来の技術よりも大幅に高速に部分空間を計算します。
  • 消融実験において、他の部分空間抽出手法と比較してより優れたパフォーマンスを実現しています。
  • この技法は推論型および非推論型のモデルアーキテクチャの両方に適用可能です。

RFMは、既存の部分空間抽出手法に対する安価でスケーラブルな補完手段として機能し、LLMにおけるよりアクセスしやすい安全性モニタリングと解釈性分析を促進します。