github llama.cpp · há 4 d · inference

llama.cpp b10828 adiciona suporte para Spark2_5ForCausalLM

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10828, que introduz suporte de implementação para o modelo Spark2_5ForCausalLM. Esta atualização inclui a adição da arquitetura do modelo Spark3 e o renomeia para spark2_5.

Suporte para a implementação do Spark2_5ForCausalLM adicionado via pull request #27868.
Compilações para macOS disponíveis para Apple Silicon (arm64) e Intel (x64).
Binários para Linux fornecidos para Ubuntu x64, arm64, s390x, incluindo variantes com Vulkan, ROCm 10.0, OpenVINO e SYCL.
Lançamentos para Windows incluem opções de CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL e ROCm 10.0.
Binários para Android arm64 (CPU) também são distribuídos.

Esta versão permite que os usuários executem modelos Spark2_5 em uma ampla gama de plataformas de hardware e sistemas operacionais.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10888 adiciona rótulos de depuração de buffer de comandos para profilers de GPU

O projeto llama.cpp lançou a compilação b10888, que inclui um novo recurso para adicionar rótulos de depuração de buffer de comandos para profilers de GPU no backend Vulkan.

github llama.cpp · há 4 h · 1 visualização

llama.cpp b10886 adiciona suporte a intrínsecos vetoriais Q1_0 para s390x

O projeto llama.cpp lançou a compilação b10886, que introduz o suporte a intrínsecos vetoriais Q1_0 para a arquitetura s390x. Esta atualização inclui a implementação de `ggml_vec_dot_q1_0_q8_0` e atualiza a documentação para refletir a nova capacidade.

github llama.cpp · há 18 h · 1 visualização

llama.cpp b10883 corrige multiplicação de matrizes Vulkan e restaura otimizações Ampere

O projeto llama.cpp lançou a compilação b10883, que inclui atualizações significativas no backend Vulkan. A principal alteração envolve o uso de constantes de especificação para operações de multiplicação matriz-matriz tipo A para melhorar a compilação e o desempenho dos shaders.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b10870 adiciona pipelines de multiplicação matricial f16 tipo B e ajuste do tamanho do tile warp para Intel coopmat1

O projeto llama.cpp lançou a versão b10870, introduzindo suporte Vulkan para pipelines de multiplicação matricial f16 tipo B e ajuste do tamanho do tile warp especificamente para hardware Intel coopmat1.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b10871 adiciona shader mat-vec iq4_xs dedicado para Vulkan

O projeto llama.cpp lançou a compilação b10871, introduzindo um shader mul_mat_vec_iq4_xs dedicado para o caminho dmmv no Vulkan. Esta alteração substitui a implementação genérica de fallback anterior para melhorar o desempenho em hardware RDNA4.