Исследователи предлагают Super, метод разреженного эффективного по параметрам дообучения, который фиксирует небольшой обучаемый субпространство с помощью оценок величины на основе активаций в стиле Wanda, вычисленных во время калибровочного прохода. Они также представляют Supra, гибридный адаптер, который объединяет это разреженное обновление с LoRA, сохраняя сопоставимый бюджет обучаемых параметров благодаря простому правилу разделения бюджета.
- Super использует фиксированное субпространство, выбранное по оценкам величины на основе активаций в стиле Wanda.
- Supra объединяет разреженное обновление с LoRA с использованием правила разделения бюджета.
- В экспериментах Math17K на Llama-3.2-1B и Meta-Llama-3-8B варианты Super/Supra достигли наибольшей средней точности среди протестированных конфигураций адаптеров, выбранных по расписанию.
- Поддержка только по величине в стиле PaFi служила базовым вариантом разреженности без обучения.
Результаты указывают на то, что простые упорядочивания, вдохновленные обрезкой, могут обеспечивать полезные фиксированные разреженные субпространства для PEFT, особенно в сочетании с низкоранговыми адаптерами.