NanoAvatarは、クラウドGPUを必要とせずに、古いAndroidスマートフォンでリアルな話すアバターをローカルで実行するオープンソースプロジェクトです。リリースには公開コード、モデルの重み、およびユーザー独自の音声とのオフライン使用のためにモデルとアバターをバンドルしたAndroid APKが含まれています。

  • Androidランタイムは推論にQualcomm QNNを利用しています。
  • Full版とLite版は同じコードベースを共有していますが、異なるモデルとアバターのリソースをバンドルしています。
  • Snapdragon 8 Gen 3を搭載したZ60 Ultraでは、Lite版は112 msのモデル初フレームで37 FPSに達しました。
  • リリースされたAPKは、Full版で25 FPS、Lite版で12.5 FPSの固定レートでビデオを生成します。

著者は、QNNに取り組んでいるか、アプリケーションに話すアバターを統合している開発者からのフィードバックを歓迎しています。