Localized LoRA-MoE introduit des experts de bas rang par bloc avec routage adaptatif

Les auteurs présentent Localized LoRA-MoE, un cadre unifié qui fusionne le blocage spatial localisé avec un routage dynamique conditionné par le contexte pour pallier les limites des méthodes d'ajustement fin efficaces en paramètres.

• Le Block-Wise LoRA-MoE module l'ensemble de la grille structurelle via un signal contextuel monolithique.
• Le Cell-Wise LoRA-MoE permet à chaque cellule de coordonnées de la grille matricielle d'avoir une autorisation d'expert localisée et autonome.
• Les deux architectures résolvent les impasses d'optimisation inhérentes aux lignes de base statiques dans les simulations SVD de haute dimension et les tâches de perception visuelle spatiale.
• Le contrôle au niveau des cellules décentralisé atteint une parité statistique complète avec un coordinateur global omniscient.

Le cadre fournit un "pare-feu de gradient" robuste qui protège les voies survivantes de la corruption propagée par les défauts, offrant une solution évolutive pour l'adaptation dynamique des modèles.