BiRG-LoRA utilise un LoRA à seuil de rang pour améliorer la réponse aux questions médicales

Les chercheurs proposent BiRG-LoRA, une méthode d'adaptation efficace en paramètres pour la réponse aux questions à choix multiples médicales qui ajuste dynamiquement les rangs des adaptateurs en fonction des conditions d'entrée. La méthode utilise un seuil biaxial pour sélectionner un sous-ensemble clairsemé d'atomes de rang à partir d'un seul module LoRA par couche, combinant des preuves sémantiques avec des antécédents cliniques.

• Atteint une précision moyenne macro de 69,31 % sur les benchmarks CMB, CMExam, MedQA et MedMCQA en utilisant Qwen3-8B.
• Surpasse MoELoRA de 0,89 point de pourcentage tout en utilisant 28,1 % de paramètres entraînables en moins.
• Améliore le LoRA r16 vanilla et le LoRA r4 à rang actif correspondant de 0,83 point macro.
• Démonstre une robustesse au bruit modéré d'étiquettes grâce à des vérifications de perturbation d'axe faible lors de l'évaluation.

Les résultats indiquent qu'une allocation de rang structurée cliniquement améliore la performance QA médicale transversale aux benchmarks sous un protocole à graine unique apparié.