github llama.cpp · há 17 h · inference

llama.cpp b10883 corrige multiplicação de matrizes Vulkan e restaura otimizações Ampere

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10883, que inclui atualizações significativas no backend Vulkan. A principal alteração envolve o uso de constantes de especificação para operações de multiplicação matriz-matriz tipo A para melhorar a compilação e o desempenho dos shaders.

Usar constante de especificação para mul mat type_a nos shaders Vulkan.
Consolidar tabelas de memória compartilhada e reduzir o tamanho por constante de especificação do tipo.
Restaurar a otimização coopmat2 q4_k/q5_k e separar o shader para corrigir a regressão Ampere.
Corrigir o tipo Q2_0 ausente na multiplicação de matrizes cm2 e adaptar as alterações de ajuste f16 da Intel.
Contornar bug do compilador cm2 usando tamanho mínimo de memória compartilhada de 8.

Esta versão fornece binários atualizados para macOS, Linux, Windows, Android e openEuler em backends de CPU, GPU e hardware especializado.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10888 adiciona rótulos de depuração de buffer de comandos para profilers de GPU

O projeto llama.cpp lançou a compilação b10888, que inclui um novo recurso para adicionar rótulos de depuração de buffer de comandos para profilers de GPU no backend Vulkan.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10886 adiciona suporte a intrínsecos vetoriais Q1_0 para s390x

O projeto llama.cpp lançou a compilação b10886, que introduz o suporte a intrínsecos vetoriais Q1_0 para a arquitetura s390x. Esta atualização inclui a implementação de `ggml_vec_dot_q1_0_q8_0` e atualiza a documentação para refletir a nova capacidade.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b10870 adiciona pipelines de multiplicação matricial f16 tipo B e ajuste do tamanho do tile warp para Intel coopmat1

O projeto llama.cpp lançou a versão b10870, introduzindo suporte Vulkan para pipelines de multiplicação matricial f16 tipo B e ajuste do tamanho do tile warp especificamente para hardware Intel coopmat1.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b10871 adiciona shader mat-vec iq4_xs dedicado para Vulkan

O projeto llama.cpp lançou a compilação b10871, introduzindo um shader mul_mat_vec_iq4_xs dedicado para o caminho dmmv no Vulkan. Esta alteração substitui a implementação genérica de fallback anterior para melhorar o desempenho em hardware RDNA4.

github llama.cpp · há 2 d · 1 visualização

llama.cpp b10863 corrige threads ociosas no Metal mul_mv_iq3_xxs para matrizes pequenas

O projeto llama.cpp lançou a compilação b10863, que inclui uma correção para threads ociosas no kernel `mul_mv_iq3_xxs` no Metal quando `ne00` é menor que 1024. A atualização aborda um problema de simdgroup meio ocioso introduzindo um kernel dividido separado para dimensões específicas da matriz.