Метод MiCA (Minor Component Adaptation) был объединен с основной веткой библиотеки Hugging Face PEFT, что позволяет пользователям устанавливать его непосредственно из исходного кода. Он доступен через существующий интерфейс LoRA путем установки `init_lora_weights="mica"`.

  • MiCA адаптирует веса, используя подпространство минорных сингулярных значений вместо доминирующих направлений, инициализируется как no-op и сохраняет матрицу B замороженной, обучая только A.
  • Эксперименты показывают примерно на 90% более высокий уровень усвоения знаний, на 20% меньше катастрофического забывания и на 80% меньше обучаемых параметров по сравнению со стандартным LoRA.
  • Рекомендуемые гиперпараметры для MiCA — это примерно половина ранга (`r_mica ≈ r_lora / 2`) и удвоенная скорость обучения по сравнению с рабочей настройкой LoRA.
  • Метод в первую очередь предназначен для продолжения предобучения или доменно-адаптивного предобучения, при этом рекомендуется объединять адаптер перед инструктивным тонким настраиванием.

Эта интеграция предоставляет более параметроэффективную альтернативу LoRA для внедрения новых знаний в предварительно обученные модели, сохраняя существующее поведение во время инициализации.