Les chercheurs ont adapté l'algorithme de Machine à Caractéristiques Récursives (RFM) avec une initialisation informée par des sondes pour identifier efficacement les sous-espaces de refus multidimensionnels dans les grands modèles de langage. Cette approche permet l'extraction de sous-espaces en quelques secondes sur des modèles de raisonnement comme Qwen 3 et des modèles non raisonnants comme Qwen 2.5, répondant ainsi aux prohibitions computationnelles des méthodes existantes.
- La méthode exploite le RFM pour calculer les sous-espaces beaucoup plus rapidement que les techniques précédentes.
- Elle obtient de meilleures performances sur les tâches d'ablation par rapport aux autres méthodes d'extraction de sous-espaces.
- La technique est applicable aux architectures de modèles de raisonnement et non raisonnants.
Le RFM sert de complément peu coûteux et évolutif aux méthodes d'extraction de sous-espaces existantes, facilitant une surveillance de la sécurité plus accessible et une analyse d'interprétabilité dans les LLM.