github llama.cpp · há 1 h · inference

llama.cpp b10577 corrige draft-mtp com embeddings

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10577, que inclui uma correção para o draft-mtp ao ser usado com embeddings. Esta atualização resolve os problemas #26352 e #27299.

Corrige a compatibilidade do draft-mtp com embeddings no módulo comum.
Fornece binários para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm), Android e openEuler.

Esta versão garante que o draft-mtp funcione corretamente com entradas de embedding em plataformas suportadas.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

ggml otimiza a operação de concatenação substituindo memcpy por elemento por memcpy em nível de linha

A biblioteca ggml otimizou sua operação de concatenação substituindo cópias de memória por elemento por operações de memcpy em nível de linha. Esta mudança faz parte da versão b10578 do llama.cpp, que inclui vários binários específicos de plataforma e atualizações no grafo de computação subjacente.

github llama.cpp · há 1 h · 1 visualização Ao vivo

ggml otimiza a operação de concatenação substituindo memcpy por elemento por memcpy em nível de linha

llama.cpp b10576 adiciona kernels MMVQ reordenados Q2_K e ESIMD para SYCL

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

Lançamento do llama.cpp v0.2.0 com ggml 0.21.0 e suporte ao Kleidiai SME2

llama.cpp b10541 adiciona o argumento --mmproj-device para projetos multimodais