github llama.cpp · há 1 h · inference

llama.cpp b10509 adiciona suporte a ggml_rope_set_offset para Metal, CUDA e Vulkan

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10509, que introduz suporte para a função `ggml_rope_set_offset` em vários backends de hardware. Esta atualização inclui implementações de CPU, Metal, CUDA e Vulkan para a nova operação.

Adicionados parâmetros `ggml_rope_set_offset` e implementação do kernel de CPU.
Implementado suporte ao kernel de Metal para a nova funcionalidade de deslocamento rope.
Ativado o suporte a CUDA para `ggml_rope_set_offset` enquanto removia a proteção `supports_op`.
Adicionado suporte ao backend Vulkan para `ggml_rope_set_offset` tanto no Linux quanto no Windows.
Removida a otimização in-place das operações relevantes.

O lançamento fornece binários pré-compilados para macOS, iOS, Linux, Android, Windows e openEuler em várias arquiteturas, incluindo CPU, GPU e aceleradores especializados como OpenVINO e SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10427 funde operações FFN SYCL para ganho de throughput de até 12,4%

O projeto llama.cpp lançou a versão b10427, que inclui uma otimização de desempenho para GPUs Intel Arc via SYCL. A atualização implementa a fusão das operações gate, up e GLU dentro da camada feed-forward densa (FFN) q4_K.

github llama.cpp · há 7 d · 23 visualizações

llama.cpp b10413 adiciona detecção automática do tipo de especificação de rascunho a partir dos metadados GGUF

O projeto llama.cpp lançou a versão b10413, que introduz a detecção automática do tipo de especificação de decodificação especulativa diretamente dos metadados do modelo GGUF de rascunho.

github llama.cpp · há 7 d · 26 visualizações

llama.cpp b10410 remove promoção de tipo fp32 separada no caminho gemm non-oneDNN

O projeto llama.cpp lançou a versão b10410, que inclui uma alteração de código para o backend SYCL. Esta atualização remove a promoção de tipo fp32 separada no caminho GEMM non-oneDNN e em vez disso usa promoção automática fp16.

github llama.cpp · há 7 d · 25 visualizações

llama.cpp b10408 adiciona kernel ESIMD Q3_K e move o controle para o tempo de execução

O projeto llama.cpp lançou a versão b10408, que introduz um kernel DMMV Q3_K ESIMD para GPUs Intel. Este lançamento também inclui novos kernels ESIMD Q4_K e Q6_K e refatora a base de código para permitir o controle do ESIMD em tempo de execução em vez de em tempo de compilação.

github llama.cpp · há 9 d · 23 visualizações

llama.cpp b10353 corrige resultados incorretos silenciosos em kernels ROLL do CUDA e Metal

O projeto llama.cpp lançou a compilação b10353, que aborda um bug crítico na operação ggml_roll nos backends CUDA e Metal. Anteriormente, tensores fonte permutados (não contíguos) produziam resultados incorretos silenciosamente porque esses backends ignoravam as informações de stride.