Google Researchは、外部から検証可能な中央差分プライバシーの保証を提供する、Trusted Execution Environments (TEEs) を基盤とした次世代のFederated Learningシステムを発表した。このアーキテクチャはクライアントでの勾配計算をサーバー側にシフトさせ、サーバーロジックを検証可能にするため、運用者は生データを信頼する必要がなくなる。

  • デバイスはトレーニング例をローカルで暗号化し、SigstoreのRekor透明性ログに公開されたアクセスポリシーを事前に承認する。
  • RAFTコンセンサスプロトコルを使用するKey Management Systemは、ポリシーと一致するワークロードにのみキーを解放する。
  • ルートTEEはFederated Language経由でPythonのトレーニングループを実行し、サブタスクをワーカーTEEに委譲しつつ、DPモデルの重みだけを解放する。
  • Gboardは、より強力なプライバシー保証と改善された精度を持つ英語および日本語の次単語予測モデルをリリースした。
  • マシン間で並列化することでモデルあたりのトレーニング時間を1〜2ヶ月から短縮し、制約要因はTEEリソースの利用可能性のみとなる。

このシステムにより、外部監査人はデバイスが供給可能なすべてのサーバーワークロードを追跡でき、プライバシーに関連するロジックが検証済みプログラムにハードコードされたままになることを保証している。