github llama.cpp · há 1 h · inference

llama.cpp b10269 corrige reshape do dflash wo_a no carregamento

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10269, que inclui uma correção para o problema de reshape do dflash wo_a durante o carregamento do modelo.

Esta versão fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64, arm64, s390x com backends CPU, Vulkan, ROCm 7.2, OpenVINO e SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e openEuler (x86 e aarch64 com ACL Graph).

A atualização está disponível para download em todas as plataformas suportadas para garantir o comportamento correto do carregamento do modelo.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

Atenção Linear Causal O(N) com Gating de Decaimento e kernel Triton fundido

Um desenvolvedor abriu o código-fonte de uma arquitetura de Atenção Linear Causal O(N) com Gating de Decaimento, apresentando kernels de acumulação de estado fundidos Triton/CUDA projetados para contornar os gargalos do MHA quadrático.

github llama.cpp · há 5 h

llama.cpp b10262 adiciona GATED_LINEAR_ATTN ao backend Vulkan

O projeto llama.cpp lançou a compilação b10262, que introduz suporte para a operação GATED_LINEAR_ATTN em seu backend Vulkan. Esta atualização também inclui atualizações de documentação para operações Vulkan e remove uma constante de especificação GLA não utilizada.

github llama.cpp · há 7 h

llama.cpp b10259 permite reconfiguração de tensores durante o carregamento

O projeto llama.cpp lançou a compilação b10259, que introduz a capacidade de permitir a reconfiguração de tensores durante o processo de carregamento.

github llama.cpp · há 13 h

llama.cpp b10256 paraleliza o kernel de concatenação não contígua para SYCL

A versão llama.cpp b10256 inclui uma alteração para paralelizar o kernel de concatenação não contígua para dispositivos SYCL. A atualização modifica a geometria de lançamento de um grupo de trabalho de faixa única para um que utiliza `SYCL_CONCAT_BLOCK_SIZE`.

github llama.cpp · há 13 h

llama.cpp b10254 adiciona modelo de template DeepSeek V4 Flash 0731 e atualiza templates V4

O projeto llama.cpp lançou a versão b10254, introduzindo um novo modelo de chat para o modelo DeepSeek V4 Flash 0731 junto com atualizações nos templates existentes do DeepSeek V4.