Исследователи адаптировали алгоритм Recursive Feature Machine (RFM) с инициализацией, основанной на зондах, для эффективного выявления многомерных подпространств отказа в больших языковых моделях. Этот подход позволяет извлекать подпространства за секунды как для моделей с рассуждением, таких как Qwen 3, так и для моделей без рассуждения, таких как Qwen 2.5, устраняя вычислительные ограничения существующих методов.

  • Метод использует RFM для вычисления подпространств значительно быстрее предыдущих техник.
  • Он демонстрирует лучшие результаты на задачах абляции по сравнению с альтернативными методами извлечения подпространств.
  • Техника применима к архитектурам как моделей с рассуждением, так и без него.

RFM служит дешевым и масштабируемым дополнением к существующим методам извлечения подпространств, облегчая более доступный мониторинг безопасности и анализ интерпретируемости в LLM.