作者引入了Localized LoRA-MoE,这是一个统一的框架,将局部空间阻塞与动态、上下文条件路由相结合,以解决标准参数高效微调方法的局限性。

  • 分块LoRA-MoE通过单体上下文信号调制整个结构网格。
  • 单元格LoRA-MoE赋予矩阵网格中的每个坐标单元格自主的、局部的专家门控。

两种架构都解决了在高维SVD模拟和空间视觉感知任务中静态基线固有的优化死锁问题。

  • 去中心化的单元格级门控实现了与全知全局协调者完全统计对等。

该框架提供了一个强大的“梯度防火墙”,保护幸存路径免受故障传播的损坏,为动态模型适应提供了可扩展的解决方案。