github llama.cpp · agora mesmo · inference

llama.cpp b11460 adiciona IQ3_S multi-column MMVQ ao SYCL

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11460, que introduz suporte para o formato de quantização IQ3_S multi-column MMVQ em seu backend SYCL. Esta atualização está incluída na nova compilação junto com as opções padrão de aceleração de CPU e GPU.

O lançamento adiciona suporte a IQ3_S multi-column MMVQ à implementação do SYCL por meio do pull request #29500.
Binários estão disponíveis para macOS (Apple Silicon e Intel), Linux (x64, arm64, s390x), Windows, Android e openEuler.
A aceleração de GPU está disponível via CUDA 12/13, Vulkan, ROCm 10.0, OpenVINO e OpenCL Adreno nas plataformas suportadas.
Compilações específicas estão incluídas para dispositivos Snapdragon no Linux e Android, suportando CPU, GPU Adreno e NPU Hexagon.

Este lançamento permite que os usuários acessem as últimas otimizações do SYCL e amplia a compatibilidade de hardware para executar modelos llama.cpp em diversas arquiteturas.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11454 adiciona suporte para K2 Horizon dense e MoVA

O projeto llama.cpp lançou a compilação b11454, que introduz suporte para a arquitetura do modelo K2 Horizon, incluindo as variantes dense e Mixture-of-Value Attention (MoVA).

github llama.cpp · há 1 d · 25 visualizações

llama.cpp b11433 adiciona suporte à operação de pooling do Hexagon

O projeto llama.cpp lançou a versão b11433, que introduz suporte para operações de pooling na NPU Hexagon. Esta atualização inclui implementações para camadas de pooling 2D e 1D.

github llama.cpp · há 2 d · 25 visualizações

llama.cpp b11424 corrige escrita fora dos limites na memória compartilhada do Vulkan Flash Attention

O projeto llama.cpp lançou a versão b11424, que inclui uma correção para um erro de escrita fora dos limites da memória compartilhada no backend do Vulkan ao usar o Flash Attention.

github llama.cpp · há 2 d · 22 visualizações

llama.cpp b11413 adiciona atenção flash esparsa do Vulkan para K/V quantizados

O lançamento b11413 do llama.cpp introduz uma nova implementação de atenção flash esparsa em Vulkan que suporta tensores de Chave e Valor quantizados. Esta atualização aborda problemas de desempenho no método anterior de compactação, que era muito custoso para tarefas de decodificação com janelas de contexto grandes.

github llama.cpp · há 2 d · 29 visualizações

llama.cpp b11405 aplica tiles ao indexador lightning sobre chaves e tokens para 4 cabeças

A versão b11405 do llama.cpp atualiza o backend CUDA aplicando tiles ao indexador lightning sobre chaves e tokens para 4 cabeças, resolvendo problemas de desempenho com contagens pequenas de cabeças.