Авторы предлагают Data-Adaptive Lower-Rank Adaptation (DALorRA), вариационную байесовскую разреженную структуру, предназначенную для решения проблемы излишней уверенности в больших языковых моделях при дообучении под конкретные задачи. Этот метод переносит количественную оценку неопределённости из плотного пространства параметров на лёгкий уровень ранга адаптации с низким рангом (LoRA). Накладывая стохастическое маскирование на размерности ранга, DALorRA обеспечивает байесовскую регуляризацию ёмкости модели во время обучения и предоставляет калибровку, подобную ансамблевой, во время вывода.
Обширные эксперименты демонстрируют, что DALorRA достигает отличной калибровки для LLM, не ухудшая их способности к рассуждению.