DALorRA aplica LoRA esparsa bayesiana para melhorar a estimativa de incerteza em LLMs

Os autores propõem o Data-Adaptive Lower-Rank Adaptation (DALorRA), um framework esparso bayesiano variacional projetado para abordar o problema da excessiva confiança em grandes modelos de linguagem durante o ajuste fino específico de tarefas. Este método desloca a quantificação da incerteza do espaço denso de parâmetros para o nível de rank leve da adaptação de baixo rank (LoRA). Ao impor mascaramento estocástico nas dimensões de rank, o DALorRA permite a regularização bayesiana da capacidade do modelo durante o treinamento e fornece calibração semelhante à de conjuntos durante a inferência.

Experimentos extensos demonstram que o DALorRA alcança excelente calibração para LLMs sem comprometer sua precisão de raciocínio.