著者は、データ適応低ランク適応(DALorRA)を提案しました。これは、タスク固有のファインチューニング中の大規模言語モデルにおける過信の問題に対処するために設計された変分ベイズスパースフレームワークです。この手法は、不確実性の定量化を密なパラメータ空間から低ランク適応(LoRA)の軽量なランクレベルへ移行します。ランク次元に確率的マスクを課すことで、DALorRAはトレーニング中にモデル容量のベイズ正則化を可能にし、推論時にアンサンブルのようなキャリブレーションを提供します。
広範な実験により、DALorRAが推論精度を損なうことなくLLMに対して優れたキャリブレーションを実現することが示されました。