github llama.cpp · há 3 d · inference

llama.cpp b11070 revoluciona o gerenciamento de buffers Hexagon e DMA para mapeamentos de 64 bits

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11070, com uma revisão significativa do backend Hexagon para suportar mapeamentos de memória de 64 bits e gerenciamento estendido de buffers. Esta atualização permite o suporte adequado ao DMA (Acesso Direto à Memória) para modelos maiores e operações complexas em DSPs Qualcomm Hexagon.

Mapeamentos de buffer estendidos e DMA de 64 bits habilitados por meio do módulo `hex-dma64`.
Operações binárias expandidas para suportar mais cenários de DMA e SSM_CONV atualizado para usar DMA com suporte a 64 bits.
Aumento do número de mapeamentos de memória (mmaps) para 64 para evitar evicção em modelos maiores.
Reescrita dos loops softmax e GDN para utilizar DMA, melhorando o uso do registrador HVX.
Adição de um anel secundário como fallback para transações DMA muito grandes.

O lançamento inclui binários para macOS, Linux, Windows, Android e openEuler nos backends de CPU, GPU (CUDA, Vulkan, ROCm) e NPU.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11158 habilita suporte a matrizes cooperativas KHR para GPUs Adreno

O projeto llama.cpp lançou a compilação b11158, que inclui um ajuste do suporte a matrizes cooperativas KHR especificamente para GPUs Adreno por meio do backend Vulkan.

github llama.cpp · há 16 h · 3 visualizações

llama.cpp v0.5.0 adiciona suporte a HRM-Text, aceleração CUDA conv2d e vinculação multi-endereço

O projeto llama.cpp lançou a versão 0.5.0, focando em desempenho do backend, cobertura mais ampla de modelos e operação de servidor mais robusta. Esta atualização introduz suporte para novas arquiteturas como HRM-Text (DFM Mimir 1B) e MiMo-V2.6, enquanto melhora significativamente a eficiência computacional por meio de otimizações CUDA e Metal.

github llama.cpp · há 19 h · 11 visualizações

llama.cpp b11147 adiciona kernel OpenCL dp4a non-MoE Q6_K A8

O projeto llama.cpp lançou a versão b11147, que introduz um novo kernel binário para OpenCL. Esta atualização adiciona especificamente suporte para a configuração A8 Q6_K non-MoE dp4a.

github llama.cpp · há 1 d · 13 visualizações

llama.cpp b11132 adiciona suporte ao backbone de rascunho Gemma 4 DSpark

O projeto llama.cpp lançou a versão b11132, introduzindo suporte ao backbone de rascunho Gemma 4 DSpark. Esta atualização habilita a conversão GGUF e capacidades em tempo de execução para rascunhos Gemma 4 com atenção completa e SWA, incluindo pesos de saída vinculados e metadados do backbone booleanos.

github llama.cpp · há 1 d · 13 visualizações

llama.cpp b11122 estende a fusão MMVQ GLU e adiciona novas fusões SYCL

O projeto llama.cpp lançou a versão b11122, que inclui atualizações significativas para o backend SYCL. O lançamento estende a fusão MMVQ GLU para suportar tipos de quantização mistos e introduz novas fusões para as operações rms_norm+scale e ssm_conv+silu.