FedOPAL은 원샷 연성 학습을 위해 분석적 시각 프롬프트 튜닝 사용

본 논문은 FedOPAL을 소개합니다. 이는 기존 원샷 연성 학습 방법의 한계를 극복하기 위해 설계된 프레임워크로, 분석적 집계와 시각 프롬프트 튜닝을 결합합니다. 비독립 동일 분포(non-independent and identically distributed) 데이터 환경에서 특징 분포 불일치를 보정하기 위해 특징 정정기(feature rectifiers)로서 시각 프롬프트를 적응시킵니다.

• 국소 근접 제약(local proximal constraints)을 사용하여 이질적인 데이터 분포를 선형 분리 가능한 공간으로 능동적으로 보정하도록 시각 프롬프트를 적응시킵니다.
• 최소제곱 폐쇄 형식 해(least-squares closed-form solutions)를 통한 효율적인 그래디언트 없는 집계를 가능하게 하여 반복적 미세 조정이나 지식 증류(knowledge distillation)의 필요성을 제거합니다.
• 최신 반복적 방법과 비교 가능한 정확도를 유지하면서 서버 측 학습 비용을 제로화합니다.
• 여러 벤치마크에서 기존 분석적 방법을 크게 상회합니다.

FedOPAL은 연성 학습에서의 통신 대역폭 병목 현상과 정적 특징 가정 사이의 모순을 해결함으로써 에지(edge)에서 대규모 모델의 효율적인 협업을 위한 새로운 엔지니어링 패러다임을 제공합니다.