github llama.cpp · há 3 h · inference

llama.cpp b11043 permite flash-attention HMX com head_dim=72

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11043, que inclui uma alteração na implementação do flash-attention HMX. Esta atualização habilita o suporte para dimensões de cabeça que não são múltiplos de 64, permitindo especificamente configurações como head_dim=72 do SigLIP.

O kernel de flash-attention HMX agora opera com DK/DV arredondados para cima para 64 com lanes finais preenchidos com zeros.
Binários pré-compilados estão disponíveis para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android e openEuler.

Esta alteração permite que os usuários executem modelos com dimensões de cabeça não padrão em hardware suportado sem problemas de compatibilidade.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b11046 adiciona suporte para OpenCL ao kernel flash_attn_f32_f16_bin

O projeto llama.cpp lançou a versão b11046, que introduz suporte para OpenCL no kernel `flash_attn_f32_f16_bin`. Esta atualização também inclui funcionalidade de pré-preenchimento protegido para Flash Attention em dispositivos OpenCL.

github llama.cpp · há 1 h · 1 visualização Ao vivo

llama.cpp b11044 atualiza hexagon im2col e lança binários

O projeto llama.cpp lançou a versão b11044, que inclui uma atualização no backend hexagon para melhorar as operações image-to-column (im2col). O lançamento fornece binários pré-compilados para macOS, Linux, Windows, Android e openEuler em CPU, GPU e outros aceleradores de hardware.

github llama.cpp · há 2 h · 1 visualização

llama.cpp b11045 adiciona suporte à operação ROLL no backend Hexagon

O projeto llama.cpp lançou a versão b11045, que introduz suporte para a operação ROLL dentro do backend Hexagon.

github llama.cpp · há 5 h · 1 visualização

llama.cpp b11042 adiciona kernel binário OpenCL A8 Q6_K

O projeto llama.cpp lançou a versão b11042, que introduz um novo kernel binário OpenCL para modelos A8 Q6_K não-MoE. Esta atualização também inclui correções de compatibilidade de layout dentro do backend OpenCL.

github llama.cpp · há 9 h · 1 visualização

llama.cpp b11039 adiciona suporte ao padrão SWA ao model-saver e aos carregadores

O projeto llama.cpp lançou a compilação b11039, que atualiza o model-saver para gravar padrões de atenção de janela deslizante (SWA) e geometria MLA SWA para todos os modelos que usam SWA. A alteração garante que o `sliding_window_pattern` seja gravado como um sinalizador por camada, em vez de ser colapsado para um escalar, preservando a representação exata dos dados.