github llama.cpp · há 1 h · inference

llama.cpp b10581 adiciona suporte DSpark para bailinmoe3

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10581, que introduz suporte para o backend DSpark para habilitar o modelo bailinmoe3.

O lançamento inclui binários para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows (x64 e arm64) e Android (arm64).
A aceleração de GPU está disponível via CUDA 12.4/13.3, Vulkan, OpenCL Adreno, ROCm 7.14, OpenVINO e SYCL nas plataformas suportadas.
O suporte ao Bailinmoe3 utiliza especificamente o backend DSpark conforme detalhado no pull request #27508.
macOS Apple Silicon com KleidiAI e Ubuntu x64 com ROCm 7.14 estão atualmente desativados para esta compilação.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

ggml otimiza a operação de concatenação substituindo memcpy por elemento por memcpy em nível de linha

A biblioteca ggml otimizou sua operação de concatenação substituindo cópias de memória por elemento por operações de memcpy em nível de linha. Esta mudança faz parte da versão b10578 do llama.cpp, que inclui vários binários específicos de plataforma e atualizações no grafo de computação subjacente.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10576 adiciona kernels MMVQ reordenados Q2_K e ESIMD para SYCL

O projeto llama.cpp lançou a compilação b10576, que readiciona os kernels MMVQ reordenados Q2_K e ESIMD para suporte a SYCL. Esta alteração reverte efetivamente um commit anterior que havia removido essas implementações específicas de kernels.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10577 corrige draft-mtp com embeddings

O projeto llama.cpp lançou a compilação b10577, que inclui uma correção para o draft-mtp ao ser usado com embeddings. Esta atualização resolve os problemas #26352 e #27299.

github llama.cpp · há 7 h · 1 visualização

mtmd adiciona suporte a WebP via ffmpeg

O componente mtmd no llama.cpp agora suporta o formato de imagem WebP por meio da integração com o ffmpeg.

github llama.cpp · há 12 h · 2 visualizações

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

O projeto llama.cpp lançou a compilação b10568, que atualiza o tratamento de modelos para usar a função `ggml_rope_set_offset()`. Esta alteração é parcialmente aplicada para suportar o DeepSeek 2.