github llama.cpp · há 1 h · inference

ggml otimiza a operação de concatenação substituindo memcpy por elemento por memcpy em nível de linha

Traduzido do English → Português (BR)

A biblioteca ggml otimizou sua operação de concatenação substituindo cópias de memória por elemento por operações de memcpy em nível de linha. Esta mudança faz parte da versão b10578 do llama.cpp, que inclui vários binários específicos de plataforma e atualizações no grafo de computação subjacente.

Substitui o memcpy por elemento por memcpy em nível de linha na operação de concatenação.
Corrige os deslocamentos de concatenação para o novo mecanismo de cópia em nível de linha.
Adiciona e move as asserções do tamanho do bloco de concatenação enquanto remove verificações redundantes.
Fornece builds para macOS, Linux, Windows, Android e openEuler em CPU, GPU e backends especializados.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10576 adiciona kernels MMVQ reordenados Q2_K e ESIMD para SYCL

O projeto llama.cpp lançou a compilação b10576, que readiciona os kernels MMVQ reordenados Q2_K e ESIMD para suporte a SYCL. Esta alteração reverte efetivamente um commit anterior que havia removido essas implementações específicas de kernels.

github llama.cpp · há 2 h · 1 visualização

llama.cpp b10577 corrige draft-mtp com embeddings

O projeto llama.cpp lançou a compilação b10577, que inclui uma correção para o draft-mtp ao ser usado com embeddings. Esta atualização resolve os problemas #26352 e #27299.

github llama.cpp · há 11 h · 2 visualizações

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

O projeto llama.cpp lançou a compilação b10568, que atualiza o tratamento de modelos para usar a função `ggml_rope_set_offset()`. Esta alteração é parcialmente aplicada para suportar o DeepSeek 2.

github llama.cpp · há 16 h · 6 visualizações

Lançamento do llama.cpp v0.2.0 com ggml 0.21.0 e suporte ao Kleidiai SME2

O projeto llama.cpp lançou a versão 0.2.0, que inclui uma sincronização com a biblioteca ggml atualizada para a versão 0.21.0. Esta atualização introduz várias melhorias de backend e novos recursos em diversas plataformas de hardware.

github llama.cpp · há 1 d · 5 visualizações

llama.cpp b10541 adiciona o argumento --mmproj-device para projetos multimodais

O projeto llama.cpp lançou a compilação b10541, introduzindo o argumento de linha de comando `--mmproj-device` para permitir que os usuários especifiquem o backend do dispositivo para carregar arquivos de projeção multimodal.