В статье представлен FedOPAL, фреймворк, разработанный для преодоления ограничений существующих методов одношагового федеративного обучения путем сочетания аналитической агрегации с настройкой визуальных промптов. Он адаптирует визуальные промпты в качестве корректоров признаков для исправления несоответствия распределения признаков в средах с неидентично и независимо распределенными данными.
- Адаптирует визуальные промпты для активного преобразования гетерогенных распределений данных в линейно разделимое пространство с использованием локальных проксимальных ограничений.
- Обеспечивает эффективную агрегацию без градиентов с помощью замкнутых решений методом наименьших квадратов, устраняя необходимость в итеративной тонкой настройке или дистилляции знаний.
- Достигает нулевых затрат на обучение на стороне сервера при сохранении точности, сопоставимой с современными итеративными методами.
- Значительно превосходит исходные аналитические методы по нескольким бенчмаркам.
FedOPAL предоставляет новую инженерную парадигму для эффективного сотрудничества больших моделей на периферии, разрешая противоречие между узкими местами пропускной способности связи и статическими предположениями о признаках в аналитическом федеративном обучении.