github llama.cpp · há 1 h · inference

llama.cpp b10610 encurta a nomenclatura de dispositivos virtuais no CUDA e Metal

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10610, que inclui uma alteração para encurtar a nomenclatura de dispositivos virtuais dentro do backend ggml tanto para as plataformas CUDA quanto Metal.

A atualização modifica como os dispositivos virtuais são nomeados nos backends CUDA e Metal para reduzir a verbosidade.
As compilações do macOS Apple Silicon com suporte ao KleidiAI permanecem desativadas nesta versão.
Binários estão disponíveis para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm 7.14), Android e openEuler.

Esta versão fornece binários atualizados para vários aceleradores de hardware e sistemas operacionais, enquanto refina as strings internas de identificação de dispositivos.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10605 achata projeções mamba2 para despachar GEMM

O projeto llama.cpp lançou a compilação b10605, que inclui uma otimização chave para a arquitetura Mamba2. A atualização achata as projeções de entrada e saída dos modelos Mamba2 para despachar operações de Multiplicação Geral de Matrizes (GEMM) em vez de operações de Multiplicação Geral de Matriz por Vetor (GEMV).

github llama.cpp · há 20 h · 12 visualizações

llama.cpp b10603 adiciona suporte MTP para GLM-4.5-Air

O projeto llama.cpp lançou a compilação b10603, que introduz o suporte à Predição de Múltiplos Tokens (MTP) para o modelo GLM-4.5-Air.

github llama.cpp · há 2 d · 6 visualizações

ggml otimiza a operação de concatenação substituindo memcpy por elemento por memcpy em nível de linha

A biblioteca ggml otimizou sua operação de concatenação substituindo cópias de memória por elemento por operações de memcpy em nível de linha. Esta mudança faz parte da versão b10578 do llama.cpp, que inclui vários binários específicos de plataforma e atualizações no grafo de computação subjacente.

github llama.cpp · há 2 d · 4 visualizações

llama.cpp b10576 adiciona kernels MMVQ reordenados Q2_K e ESIMD para SYCL

O projeto llama.cpp lançou a compilação b10576, que readiciona os kernels MMVQ reordenados Q2_K e ESIMD para suporte a SYCL. Esta alteração reverte efetivamente um commit anterior que havia removido essas implementações específicas de kernels.

github llama.cpp · há 2 d · 6 visualizações

llama.cpp b10577 corrige draft-mtp com embeddings

O projeto llama.cpp lançou a compilação b10577, que inclui uma correção para o draft-mtp ao ser usado com embeddings. Esta atualização resolve os problemas #26352 e #27299.