media Hugging Face Forums · hace 2 d · open_models

NanoAvatar permite avatares parlantes locales en Android a través de Qualcomm QNN

Traducido del English → Español

NanoAvatar es un proyecto de código abierto que ejecuta avatares parlantes realistas localmente en teléfonos Android antiguos sin requerir una GPU en la nube. El lanzamiento incluye código público, pesos del modelo y APKs de Android que empaquetan el modelo y un avatar para uso offline con la voz propia del usuario.

El tiempo de ejecución de Android utiliza Qualcomm QNN para inferencia.
Las versiones Full y Lite comparten una base de código pero empaquetan diferentes recursos de modelo y avatar.
En un Z60 Ultra con Snapdragon 8 Gen 3, la versión Lite alcanzó 37 FPS con un primer frame del modelo en 112 ms.
Los APKs lanzados generan video a una frecuencia fija de 25 FPS para Full y 12.5 FPS para Lite.

El autor acepta comentarios de desarrolladores que trabajen con QNN o integren avatares parlantes en sus aplicaciones.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Local inference Video generation

Leer original

llama.cpp b10982 añade soporte de Flash Attention disperso con Vulkan para DSV4/GLM

El proyecto llama.cpp ha lanzado la versión b10982, que introduce soporte para Flash Attention disperso a través del backend de Vulkan. Esta actualización se dirige específicamente a los modelos DSV4 y GLM, permitiendo que aprovechen mecanismos de atención dispersa en hardware de GPU compatible.

github llama.cpp · hace 4 h · 2 vistas

llama.cpp b10981 corrige la decodificación con estado para Gemma-4 y optimiza la inferencia de MoE en GPU

La versión b10981 de llama.cpp aborda problemas críticos de corrección en la ruta de decodificación con estado del backend OpenVINO, corrigiendo específicamente el soporte para modelos como Gemma-4 que utilizan tamaños de cabeza por capa. También introduce optimizaciones para la inferencia de MoE (Mixture of Experts) en GPU y mejora el rendimiento mediante relayouts del estado KV.

lab NVIDIA Research · hace 16 h · 3 vistas

FastGen-PDD introduce distilación de decodificación paralela para generación rápida de video e imagen

Los investigadores presentan la Distilación de Decodificación Paralela (PDD), un método simplificado basado en trayectorias para acelerar la inferencia en modelos de difusión y emparejamiento de flujos. A diferencia de los enfoques actuales que dependen de la distilación variacional de puntuaciones difícil de optimizar y pérdidas adversarias, PDD predice múltiples pasos de desvanecimiento por evaluación de red.

github llama.cpp · hace 21 h · 8 vistas

llama.cpp 0.4.1 añade soporte para Maple 20B-A1B, Tencent Hy 4 y Spark2.5

El proyecto llama.cpp lanzó la versión 0.4.1, introduciendo soporte para la arquitectura ternaria de Mezcla de Expertos (MoE) Maple 20B-A1B en CPU, así como soporte preliminar para los modelos Tencent Hy 4 y Spark2.5.

media Hugging Face Forums · hace 1 d · 2 vistas

Discusión sobre los límites prácticos de ejecutar modelos de 2B–7B localmente

El artículo plantea una pregunta sobre la utilidad práctica de los modelos más pequeños con pesos abiertos (2B–7B) para el despliegue local, preguntando si se están volviendo suficientes para flujos de trabajo personales en comparación con modelos más grandes.