Недавние работы выявили Супервесы как отдельные параметры, удаление которых ухудшает производительность модели на порядки, однако данное исследование показывает, что обучение этих конкретных параметров неэффективно. Обучение Супервесов изолированно на OLMo-1B и OLMo-7B снижает точность до уровня случайного угадывания, даже при расширении на локальные окрестности до 36K параметров.

  • Обучение изолированных Супервесов вызывает коллапс производительности, тогда как обучение равного количества случайно выбранных позиций улучшает показатели по сравнению с базовой линией.
  • Vanilla LoRA успешно работает, используя лишь 0.16% параметров, обновляя каждую позицию в матрицах весов внимания через низкоранговую структуру.
  • Применение того же низкорангового обновления к слоям down_proj также дает успех, тогда как ограничение обновлений LoRA на координатах Супервесов дает статистически неразличимые от случайного угадывания результаты.

Эти выводы устанавливают, что важность параметра не подразумевает его обучаемость в изоляции и что эффективное дообучение опирается на структурированные декомпозиции по целым слоям, а не на целевое воздействие на индивидуально важные веса.