DALorRA aplica LoRA disperso bayesiano para mejorar la estimación de incertidumbre en LLM

Los autores proponen Data-Adaptive Lower-Rank Adaptation (DALorRA), un marco disperso bayesiano variacional diseñado para abordar el problema de la excesiva confianza en los modelos de lenguaje grandes durante el ajuste fino específico de tareas. Este método traslada la cuantificación de la incertidumbre del espacio de parámetros denso al nivel de rango ligero de la adaptación de bajo rango (LoRA). Al imponer un enmascaramiento estocástico en las dimensiones del rango, DALorRA permite la regularización bayesiana de la capacidad del modelo durante el entrenamiento y proporciona una calibración similar a la de conjuntos durante la inferencia.

Los experimentos extensos demuestran que DALorRA logra una excelente calibración para LLM sin comprometer su precisión de razonamiento.