Les chercheurs ont adapté l'algorithme Recursive Feature Machine (RFM) avec une initialisation informée par des sondes pour identifier efficacement les sous-espaces de refus multidimensionnels dans les grands modèles de langage. Cette approche permet l'extraction de sous-espaces en quelques secondes sur des modèles de raisonnement comme Qwen 3 et des modèles non raisonnants comme Qwen 2.5, répondant ainsi aux prohibitions computationnelles des méthodes existantes.

  • La méthode exploite le RFM pour calculer des sous-espaces multidimensionnels significativement plus rapidement que les techniques antérieures.
  • Elle obtient de meilleures performances sur les tâches d'ablation par rapport aux autres méthodes d'extraction de sous-espaces.
  • La technique est applicable aux architectures de modèles de raisonnement et non raisonnants.

Le RFM offre un complément peu coûteux et évolutif aux méthodes d'extraction de sous-espaces existantes, facilitant une surveillance plus accessible des comportements de sécurité des modèles.