著者は、Localized LoRA-MoEを紹介する。これは、局所化された空間ブロッキングと動的な文脈条件付きルーティングを融合し、標準的なパラメータ効率的ファインチューニング手法の限界に対処する統合フレームワークである。

  • Block-Wise LoRA-MoEは、単一の文脈信号によって構造グリッド全体を制御する。
  • Cell-Wise LoRA-MoEは、行列グリッド内の各座標セルに自律的な局所化エキスパートゲートイングを与える。
  • 両方のアーキテクチャは、高次元SVDシミュレーションおよび空間ビジョン知覚タスクにおいて静的ベースラインに内在する最適化のデッドロックを解決する。
  • デセンタライズされたセルレベルのゲートイングは、全知のグローバルコーディネーターと完全な統計的同等性を達成する。

このフレームワークは、生存経路を障害伝播による汚染から保護する堅牢な「勾配ファイアウォール」を提供し、動的モデル適応のためのスケーラブルなソリューションを提供する。