NanoAvatar는 클라우드 GPU 없이도 오래된 Android 폰에서 생생한 대화 아바타를 로컬로 실행하는 오픈소스 프로젝트입니다. 이번 릴리스에는 공개 코드, 모델 가중치, 그리고 사용자의 자신의 음성으로 오프라인 사용을 위해 모델과 아바타를 번들한 Android APK가 포함되어 있습니다.

  • Android 런타임은 추론을 위해 Qualcomm QNN을 활용합니다.
  • Full 및 Lite 버전은 하나의 코드베이스를 공유하지만 다른 모델 및 아바타 리소스를 번들합니다.
  • Snapdragon 8 Gen 3이 탑재된 Z60 Ultra에서 Lite 버전은 112 ms의 모델 첫 프레임으로 37 FPS에 도달했습니다.
  • 릴리스된 APK는 Full의 경우 고정 25 FPS, Lite의 경우 12.5 FPS로 비디오를 생성합니다.

저자는 QNN을 다루거나 애플리케이션에 대화 아바타를 통합하는 개발자들의 피드백을 환영합니다.