저자들은 표준 파라미터 효율적 파인튜닝 방법의 한계를 해결하기 위해 국소화된 공간 블로킹과 동적 문맥 조건부 라우팅을 융합하는 통합 프레임워크인 Localized LoRA-MoE를 소개합니다.
- Block-Wise LoRA-MoE는 단일 문맥 신호를 통해 전체 구조 그리드를 조절합니다.
- Cell-Wise LoRA-MoE는 행렬 그리드의 모든 좌표 셀에 자율적인 국소화 전문가 게이트팅을 부여합니다.
- 두 아키텍처 모두 고차원 SVD 시뮬레이션 및 공간 비전 지각 작업에서 정적 기준선에 내재된 최적화 교착상태를 해결합니다.
- 분산된 셀 수준 게이트팅은 전지적인 글로벌 조정자와 완전한 통계적 동등성을 달성합니다.
이 프레임워크는 생존 경로를 결함 전파로 인한 부패로부터 보호하는 강력한 "그래디언트 방화벽"을 제공하여 동적 모델 적응을 위한 확장 가능한 솔루션을 제공합니다.