github llama.cpp · há 1 h · inference

llama.cpp b10159 adiciona kernel FWHT para o backend Metal

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10159, que introduz um kernel de Transformada Rápida de Walsh-Hadamard (FWHT) para o backend Metal. Esta atualização inclui detalhes de implementação em andamento, juntamente com verificações de forma e ajustes de formatação de código.

Adicionado suporte ao kernel FWHT para o backend Metal no ggml-metal.
Incluídas correções para problemas de estreitamento e pequenas correções de estilo.
Fornecidos binários para macOS, iOS, Linux, Windows, Android e openEuler através das arquiteturas CPU, GPU (CUDA, Vulkan, ROCm, SYCL, OpenVINO) e Apple Silicon.

O lançamento torna o novo kernel Metal disponível para usuários em plataformas compatíveis.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10158 adiciona suporte para eagle3-v3 no modelo gpt-oss

O projeto llama.cpp lançou a compilação b10158, que introduz suporte para a arquitetura eagle3-v3 dentro do modelo gpt-oss.

github llama.cpp · há 5 d · 2 visualizações

llama.cpp b10098 atualiza operações de ativação Hexagon

O projeto llama.cpp lançou a versão b10098, que inclui uma atualização nas operações de ativação Hexagon. Esta versão fornece binários para macOS, Linux, Android, Windows e openEuler em vários backends de CPU e GPU.

lab Hugging Face Blog · há 5 d · 1 visualização

Diffusers adiciona suporte nativo à inferência Nunchaku Lite de 4 bits

O Hugging Face Diffusers agora suporta o carregamento nativo de checkpoints do Nunchaku Lite por meio de `from_pretrained()`, eliminando a necessidade de um mecanismo de inferência separado ou compilação CUDA local. Essa integração utiliza o método SVDQuant para executar camadas de transformador com pesos e ativações de 4 bits (W4A4), reduzindo significativamente o uso de memória enquanto melhora a velocidade de inferência.

github llama.cpp · há 6 d · 1 visualização

llama.cpp b10089 adiciona suporte completo a k-quant e i-quant para CUDA GET_ROWS

O lançamento llama.cpp b10089 estende as operações CUDA GET_ROWS para suportar formatos de quantização k-quants, i-quants e mxfp4. Esta alteração garante que todos os tipos GGML quantizados agora podem seguir o caminho direto do dispositivo para buscas de embedding.

github llama.cpp · há 6 d

llama.cpp b10085 corrige o grounding do Qwen3-VL alinhando a interpolação de embeddings de posição

O projeto llama.cpp lançou a compilação b10085, que inclui uma correção para a interpolação de embeddings de posição do modelo de visão Qwen3-VL para resolver inconsistências nas coordenadas de grounding.