github llama.cpp · há 1 h · inference

llama.cpp b10165 adiciona suporte iq4_nl e q1_0 ao Vulkan FA

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10165, que restaura o suporte à quantização iq4_nl para o backend Flash Attention (FA) do Vulkan. Esta alteração aborda a questão #23681 reativando o recurso após as preocupações sobre o uso de memória compartilhada serem consideradas insignificantes.

Adiciona de volta o suporte iq4_nl à implementação do Vulkan FA.
Adiciona suporte q1_0 para configurações non-coopmat2.
Corrige a questão do GitHub #23681 referente à remoção do suporte FA q1_0.

O lançamento fornece binários para macOS, Linux, Windows e Android através dos backends CPU, CUDA, ROCm, OpenVINO, SYCL e Vulkan.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10164 adiciona matmul SSD em blocos para aceleração do prefill do Mamba-2

O projeto llama.cpp lançou a versão b10164, introduzindo uma nova implementação de multiplicação de matriz SSD em blocos projetada para acelerar a fase de prefill dos modelos Mamba-2.

github llama.cpp · há 6 h · 1 visualização

llama.cpp b10159 adiciona kernel FWHT para o backend Metal

O projeto llama.cpp lançou a compilação b10159, que introduz um kernel de Transformada Rápida de Walsh-Hadamard (FWHT) para o backend Metal. Esta atualização inclui detalhes de implementação em andamento, juntamente com verificações de forma e ajustes de formatação de código.

github llama.cpp · há 8 h · 2 visualizações

llama.cpp b10158 adiciona suporte para eagle3-v3 no modelo gpt-oss

O projeto llama.cpp lançou a compilação b10158, que introduz suporte para a arquitetura eagle3-v3 dentro do modelo gpt-oss.

github llama.cpp · há 5 d · 2 visualizações

llama.cpp b10098 atualiza operações de ativação Hexagon

O projeto llama.cpp lançou a versão b10098, que inclui uma atualização nas operações de ativação Hexagon. Esta versão fornece binários para macOS, Linux, Android, Windows e openEuler em vários backends de CPU e GPU.

lab Hugging Face Blog · há 5 d · 1 visualização

Diffusers adiciona suporte nativo à inferência Nunchaku Lite de 4 bits

O Hugging Face Diffusers agora suporta o carregamento nativo de checkpoints do Nunchaku Lite por meio de `from_pretrained()`, eliminando a necessidade de um mecanismo de inferência separado ou compilação CUDA local. Essa integração utiliza o método SVDQuant para executar camadas de transformador com pesos e ativações de 4 bits (W4A4), reduzindo significativamente o uso de memória enquanto melhora a velocidade de inferência.