あるユーザーが、WebGPUを使用して完全にウェブブラウザ内で実行できるLivePortrait ONNXモデルの蒸留版を作成しました。元の処理では1フレームの生成に30秒かかりましたが、この新しい概念実証はRTX 5090上で30ms未満の生成時間を短縮します。

  • 蒸留されたモデルはブラウザで約25fpsのパフォーマンスを実現します。
  • サーバー側の処理を必要とせず、100%クライアントサイドで動作します。
  • モデルは小規模なデータセットを使用して数時間だけ学習されました。
  • 出力品質は「まあまあ」と説明され、入力されるポートレートによって異なります。

この開発は、LivePortraitがウェブ環境でのリアルタイム・ローカル推論のために大幅に最適化できることを示しています。