github llama.cpp · há 11 h · inference

llama.cpp b10757 melhora o desempenho de mat-vec IQ3_S para Vulkan em tamanhos de lote maiores

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10757, que inclui uma otimização específica para o backend do Vulkan. Esta atualização lida eficientemente com tamanhos de lote maiores que 4 para multiplicação matriz-vetor IQ3_S quando NUM_COLS é maior que 4.

Alcança uma melhoria de desempenho de 5x em n=8 para a configuração mat-vec IQ3_S do Vulkan especificada.
Adiciona dois casos por tipo de quantização em k=16*256 à varredura mat-vec all_types.
Fornece binários para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.

Este lançamento permite que os usuários executem o llama.cpp em uma ampla variedade de plataformas de hardware com otimizações de Vulkan atualizadas para tipos de quantização específicos.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10766 adiciona suporte de visão para DeepSeek 4

O projeto llama.cpp lançou a compilação b10766, que inclui uma correção para suportar corretamente a entrada visual do modelo DeepSeek 4.

github llama.cpp · há 1 h · 1 visualização Ao vivo

llama.cpp b10762 adiciona suporte para DeepSeek-V4-Flash-Vision-Exp

O projeto llama.cpp lançou a compilação b10762, que introduz suporte para o modelo DeepSeek-V4-Flash-Vision-Exp. Esta atualização também inclui o tratamento de contagens mínimas e máximas de tokens pela interface de linha de comando.

github llama.cpp · há 9 h · 1 visualização

llama.cpp b10758 adiciona fusão de MUL_MAT e MUL_MAT_ID para Hexagon

O projeto llama.cpp lançou a compilação b10758, introduzindo capacidades de fusão de MUL_MAT e MUL_MAT_ID para o DSP Hexagon. Esta atualização também inclui várias correções para melhorar a estabilidade e o desempenho em hardware Qualcomm.

github llama.cpp · há 9 h · 3 visualizações

llama.cpp b10759 evita a inicialização do tipo de buffer do KleidiAI no dispatch

O projeto llama.cpp lançou a compilação b10759, que inclui uma correção para evitar a inicialização do tipo de buffer do KleidiAI no dispatch.

github llama.cpp · há 11 h · 1 visualização

llama.cpp b10756 restringe a solicitação da extensão shader_bfloat16 do Vulkan

O projeto llama.cpp lançou a compilação b10756, que modifica o comportamento do backend do Vulkan para solicitar apenas a extensão VK_KHR_shader_bfloat16 quando ela é suportada pelo hardware.