Авторы представляют Localized LoRA-MoE, единую архитектуру, которая объединяет локализованное пространственное блокирование с динамической, контекстно-условной маршрутизацией для преодоления ограничений стандартных методов параметрически эффективного дообучения.

  • Блочная LoRA-MoE модулирует всю структурную сетку через монолитный контекстный сигнал.
  • Ячеечная LoRA-MoE наделяет каждую координатную ячейку матричной сетки автономным, локализованным экспертным гейтированием.

Обе архитектуры разрешают тупики оптимизации, присущие статическим базовым линиям в симуляциях SVD высокой размерности и задачах пространственного зрительного восприятия.

  • Децентрализованное гейтирование на уровне ячеек достигает полной статистической паритетности с всезнающим глобальным координатором.

Архитектура обеспечивает надежный «градиентный файрволл», который защищает выжившие пути от распространяющейся искажения, предлагая масштабируемое решение для динамической адаптации модели.