Исследователи адаптировали алгоритм Recursive Feature Machine (RFM) с инициализацией, основанной на зондах, для эффективного выявления многомерных подпространств отказа в больших языковых моделях. Этот подход позволяет извлекать подпространства за секунды как для моделей рассуждения, таких как Qwen 3, так и для нерассуждающих моделей, таких как Qwen 2.5, устраняя вычислительные ограничения существующих методов.

  • Метод использует RFM для вычисления многомерных подпространств значительно быстрее предыдущих техник.
  • Он демонстрирует лучшие результаты на задачах абляции по сравнению с альтернативными методами извлечения подпространств.
  • Техника применима как к архитектурам моделей рассуждения, так и к нерассуждающим моделям.

RFM предлагает дешевое и масштабируемое дополнение к существующим методам извлечения подпространств, облегчая более доступный мониторинг поведения безопасности моделей.