media Hugging Face Forums · há 2 d · open_models

NanoAvatar permite avatares falantes locais no Android via Qualcomm QNN

Traduzido do English → Português (BR)

O NanoAvatar é um projeto de código aberto que executa avatares falantes realistas localmente em telefones Android mais antigos sem exigir uma GPU na nuvem. O lançamento inclui código público, pesos do modelo e APKs para Android que empacotam o modelo e um avatar para uso offline com a voz própria do usuário.

O runtime do Android utiliza Qualcomm QNN para inferência.
As versões Full e Lite compartilham uma base de código, mas empacotam recursos diferentes de modelo e avatar.
Em um Z60 Ultra com Snapdragon 8 Gen 3, a versão Lite alcançou 37 FPS com um primeiro frame do modelo em 112 ms.
Os APKs lançados geram vídeo a uma taxa fixa de 25 FPS para Full e 12.5 FPS para Lite.

O autor aceita feedback de desenvolvedores que trabalham com QNN ou integram avatares falantes em suas aplicações.

Importância 1/3 Confiança 1/3 Hugging Face Forums Local inference Video generation

Ler original

llama.cpp b10982 adiciona suporte a Flash Attention esparso via Vulkan para DSV4/GLM

O projeto llama.cpp lançou a compilação b10982, que introduz suporte ao Flash Attention esparsivo por meio do backend Vulkan. Esta atualização direciona-se especificamente aos modelos DSV4 e GLM, permitindo que aproveitem mecanismos de atenção esparsa em hardware de GPU compatível.

github llama.cpp · há 4 h · 2 visualizações

llama.cpp b10981 corrige decode com estado para Gemma-4 e otimiza inferência de GPU MoE

O lançamento do llama.cpp b10981 aborda problemas críticos de correção no caminho de decodificação com estado do backend OpenVINO, corrigindo especificamente o suporte para modelos como Gemma-4 que usam tamanhos de cabeça por camada. Também introduz otimizações para inferência de Mixture of Experts (MoE) em GPU e melhora o desempenho por meio de relayouts do estado KV.

lab NVIDIA Research · há 16 h · 3 visualizações

FastGen-PDD introduz destilação de decodificação paralela para geração rápida de vídeo e imagem

Pesquisadores introduzem a Destilação de Decodificação Paralela (PDD), um método simplificado baseado em trajetória para acelerar a inferência em modelos de difusão e correspondência de fluxo. Ao contrário das abordagens atuais que dependem de destilação variacional de pontuação difícil de otimizar e perdas adversariais, o PDD prevê múltiplos passos de desruído por avaliação da rede.

github llama.cpp · há 21 h · 8 visualizações

llama.cpp 0.4.1 adiciona suporte a Maple 20B-A1B, Tencent Hy 4 e Spark2.5

O projeto llama.cpp lançou a versão 0.4.1, introduzindo suporte para a arquitetura ternária Mixture of Experts do Maple 20B-A1B em CPU, bem como suporte preview para os modelos Tencent Hy 4 e Spark2.5.

media Hugging Face Forums · há 1 d · 2 visualizações

Discussão sobre os limites práticos de executar modelos de 2B–7B localmente

O artigo levanta uma questão sobre a utilidade prática de modelos menores com pesos abertos (2B–7B) para implantação local, perguntando se eles estão se tornando suficientes para fluxos de trabalho pessoais em comparação com modelos maiores.