media Hugging Face Forums · il y a 2 j · open_models

NanoAvatar permet des avatars parlants locaux sur Android via Qualcomm QNN

Traduit de English → Français

NanoAvatar est un projet open-source qui exécute des avatars parlants réalistes localement sur d'anciens téléphones Android sans nécessiter de GPU cloud. La release inclut du code public, des poids de modèle et des APKs Android qui empaquetent le modèle et un avatar pour une utilisation hors ligne avec la voix propre de l'utilisateur.

Le runtime Android utilise Qualcomm QNN pour l'inférence.
Les versions Full et Lite partagent une base de code mais empaquetent différentes ressources de modèle et d'avatar.
Sur un Z60 Ultra avec Snapdragon 8 Gen 3, la version Lite a atteint 37 FPS avec un premier frame du modèle à 112 ms.
Les APKs release génèrent de la vidéo à un taux fixe de 25 FPS pour Full et 12.5 FPS pour Lite.

L'auteur accueille les retours des développeurs travaillant avec QNN ou intégrant des avatars parlants dans leurs applications.

Importance 1/3 Confiance 1/3 Hugging Face Forums Local inference Video generation

Lire l'original

llama.cpp b10982 ajoute le support de l'attention Flash sparse Vulkan pour DSV4/GLM

Le projet llama.cpp a publié la version b10982, qui introduit le support de l'attention Flash sparse via le backend Vulkan. Cette mise à jour cible spécifiquement les modèles DSV4 et GLM, leur permettant d'exploiter les mécanismes d'attention sparse sur du matériel GPU compatible.

github llama.cpp · il y a 4 h · 2 vues

llama.cpp b10981 corrige le décodage d'état pour Gemma-4 et optimise l'inférence GPU MoE

La version b10981 de llama.cpp résout des problèmes critiques de correction dans le chemin de décodage d'état du backend OpenVINO, en corrigeant spécifiquement la prise en charge des modèles comme Gemma-4 qui utilisent des tailles de tête par couche. Elle introduit également des optimisations pour l'inférence GPU Mixture of Experts (MoE) et améliore les performances grâce à des réorganisations d'état KV.

lab NVIDIA Research · il y a 16 h · 3 vues

FastGen-PDD introduit la distillation de décodage parallèle pour une génération rapide de vidéos et d'images

Les chercheurs introduisent la distillation de décodage parallèle (PDD), une méthode simplifiée basée sur des trajectoires pour accélérer l'inférence dans les modèles de diffusion et d'appariement de flux. Contrairement aux approches actuelles qui reposent sur une distillation de score variationnel difficile à optimiser et des pertes adversariales, PDD prédit plusieurs étapes de débruitage par évaluation du réseau.

github llama.cpp · il y a 21 h · 8 vues

llama.cpp 0.4.1 ajoute le support de Maple 20B-A1B, Tencent Hy 4 et Spark2.5

Le projet llama.cpp a publié la version 0.4.1, introduisant le support de l'architecture ternaire Mixture of Experts Maple 20B-A1B sur CPU, ainsi qu'un support en aperçu pour les modèles Tencent Hy 4 et Spark2.5.

media Hugging Face Forums · il y a 1 j · 2 vues

Discussion sur les limites pratiques de l'exécution locale des modèles 2B–7B

L'article pose une question concernant l'utilité pratique des modèles plus petits à poids ouverts (2B–7B) pour le déploiement local, demandant s'ils deviennent suffisants pour les flux de travail personnels par rapport aux modèles plus grands.