연구원들은 프로브 기반 초기화를 적용한 재귀적 특징 머신(RFM) 알고리즘을 적응시켜 대규모 언어 모델에서 다차원 거부 부분 공간을 효율적으로 식별했습니다. 이 접근 방식은 Qwen 3과 같은 추론 모델과 Qwen 2.5와 같은 비추론 모델 모두에서 초 단위로 부분 공간 추출을 가능하게 하며, 기존 방법의 계산적 한계를 해결합니다.

  • 이 방법은 RFM을 활용하여 기존 기술보다 훨씬 빠르게 부분 공간을 계산합니다.
  • 제거 실험(ablation tasks)에서 다른 부분 공간 추출 방법보다 더 나은 성능을 달성했습니다.
  • 이 기법은 추론 및 비추론 모델 아키텍처 모두에 적용 가능합니다.

RFM은 기존 부분 공간 추출 방법에 대한 저렴하고 확장 가능한 보완재로 작용하여 LLM의 더 접근 가능한 안전 모니터링과 해석 가능성 분석을 촉진합니다.