研究者らは、FedKT-CSDというフレームワークを提案しました。これは厳格なプライバシー保証を実現しつつ、多様なクライアントデータにわたってモデルの品質を維持するワンショット連合学習のためのものです。この手法は、公開された事前学習済みオートエンコーダーを活用して共有潜在空間を作成し、クライアントがプライベートデータを符号化し、クラス条件付きの潜在統計量のみを送信できるようにします。

  • クライアントは単順フォワードパスを実行して潜在統計量を計算し、クライアント側の計算と通信を軽量に保ちます。
  • サーバーはこれらの統計量を安全な集約を通じて統合し、較正された差分プライバシーノイズを加えます。
  • 集約された統計量から合成データセットを復号し、下流タスク用のグローバルモデルを訓練します。
  • この設計により、形式的な$(\varepsilon,\delta)$-差分プライバシーが構成上保証されます。

FedKT-CSDは、多様なデータセットと非均質性の設定において、非プライベートなベースラインと競合し、それらを上回る性能を示し、多数のクライアントに効果的にスケーリングします。