Les auteurs proposent l'Adaptation de Rang Inférieur Adaptative aux Données (DALorRA), un cadre bayésien épars variationnel conçu pour résoudre le problème de la surconfiance des grands modèles de langage lors du fine-tuning spécifique à une tâche. Cette méthode déplace la quantification de l'incertitude de l'espace des paramètres denses vers le niveau de rang léger de l'adaptation de bas rang (LoRA). En imposant un masquage stochastique sur les dimensions de rang, DALorRA permet la régularisation bayésienne de la capacité du modèle pendant l'entraînement et fournit une calibration de type ensemble lors de l'inférence.
Des expériences approfondies démontrent que DALorRA atteint une excellente calibration pour les LLM sans compromettre leur précision de raisonnement.