github llama.cpp · agora mesmo · inference

llama.cpp b10164 adiciona matmul SSD em blocos para aceleração do prefill do Mamba-2

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10164, introduzindo uma nova implementação de multiplicação de matriz SSD em blocos projetada para acelerar a fase de prefill dos modelos Mamba-2.

ggml-cuda: adicionar matmul SSD em blocos para aceleração do prefill do Mamba-2
Correções de correção do CUDA SSD promovendo s0_stride_seq para int64_t e melhorando o agrupamento de memória no ssm_ssd_prepare_dt_kernel
Materialização fundida da matriz M no kernel pre_matmul
Corrigida a corrida de leitura-escrita sdata no loop de varredura de fallback do prepare_dt
Adicionadas correções de SSD CICD para CUDA, HIP, MUSA e MSVC

Esta atualização fornece kernels GPU otimizados para arquiteturas específicas de modelos de espaço de estados, mantendo ampla compatibilidade com os backends CPU, Vulkan, ROCm, OpenVINO e SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10159 adiciona kernel FWHT para o backend Metal

O projeto llama.cpp lançou a compilação b10159, que introduz um kernel de Transformada Rápida de Walsh-Hadamard (FWHT) para o backend Metal. Esta atualização inclui detalhes de implementação em andamento, juntamente com verificações de forma e ajustes de formatação de código.

github llama.cpp · há 6 h · 2 visualizações

llama.cpp b10158 adiciona suporte para eagle3-v3 no modelo gpt-oss

O projeto llama.cpp lançou a compilação b10158, que introduz suporte para a arquitetura eagle3-v3 dentro do modelo gpt-oss.

github llama.cpp · há 5 d · 2 visualizações

llama.cpp b10098 atualiza operações de ativação Hexagon

O projeto llama.cpp lançou a versão b10098, que inclui uma atualização nas operações de ativação Hexagon. Esta versão fornece binários para macOS, Linux, Android, Windows e openEuler em vários backends de CPU e GPU.

lab Hugging Face Blog · há 5 d · 1 visualização

Diffusers adiciona suporte nativo à inferência Nunchaku Lite de 4 bits

O Hugging Face Diffusers agora suporta o carregamento nativo de checkpoints do Nunchaku Lite por meio de `from_pretrained()`, eliminando a necessidade de um mecanismo de inferência separado ou compilação CUDA local. Essa integração utiliza o método SVDQuant para executar camadas de transformador com pesos e ativações de 4 bits (W4A4), reduzindo significativamente o uso de memória enquanto melhora a velocidade de inferência.

github llama.cpp · há 6 d · 1 visualização

llama.cpp b10089 adiciona suporte completo a k-quant e i-quant para CUDA GET_ROWS

O lançamento llama.cpp b10089 estende as operações CUDA GET_ROWS para suportar formatos de quantização k-quants, i-quants e mxfp4. Esta alteração garante que todos os tipos GGML quantizados agora podem seguir o caminho direto do dispositivo para buscas de embedding.