github llama.cpp · há 2 h · inference

llama.cpp b10262 adiciona GATED_LINEAR_ATTN ao backend Vulkan

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10262, que introduz suporte para a operação GATED_LINEAR_ATTN em seu backend Vulkan. Esta atualização também inclui atualizações de documentação para operações Vulkan e remove uma constante de especificação GLA não utilizada.

Implementada a operação GATED_LINEAR_ATTN para Vulkan (#25601)
Atualizada a documentação das operações Vulkan
Removida a constante de especificação GLA não utilizada

Esta versão fornece binários para macOS, Linux, Windows, Android e iOS através dos backends CPU, CUDA, ROCm, OpenVINO, SYCL e Vulkan.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

Atenção Linear Causal O(N) com Gating de Decaimento e kernel Triton fundido

Um desenvolvedor abriu o código-fonte de uma arquitetura de Atenção Linear Causal O(N) com Gating de Decaimento, apresentando kernels de acumulação de estado fundidos Triton/CUDA projetados para contornar os gargalos do MHA quadrático.

github llama.cpp · há 4 h

llama.cpp b10259 permite reconfiguração de tensores durante o carregamento

O projeto llama.cpp lançou a compilação b10259, que introduz a capacidade de permitir a reconfiguração de tensores durante o processo de carregamento.

github llama.cpp · há 10 h

llama.cpp b10256 paraleliza o kernel de concatenação não contígua para SYCL

A versão llama.cpp b10256 inclui uma alteração para paralelizar o kernel de concatenação não contígua para dispositivos SYCL. A atualização modifica a geometria de lançamento de um grupo de trabalho de faixa única para um que utiliza `SYCL_CONCAT_BLOCK_SIZE`.

github llama.cpp · há 10 h

llama.cpp b10254 adiciona modelo de template DeepSeek V4 Flash 0731 e atualiza templates V4

O projeto llama.cpp lançou a versão b10254, introduzindo um novo modelo de chat para o modelo DeepSeek V4 Flash 0731 junto com atualizações nos templates existentes do DeepSeek V4.

github llama.cpp · há 11 h · 1 visualização

llama.cpp b10255 estende o SDPA do oneDNN para caches KV não-FP16

O lançamento llama.cpp b10255 estende o caminho SDPA do oneDNN para suportar caches de chave-valor (KV) não-FP16, incluindo formatos quantizados Q4_0–Q8_0 e FP32. Esta atualização permite que o kernel systolic fundido seja executado de forma idêntica ao caminho nativo FP16, desquantizando ou convertendo os tensores K/V para FP16 denso no dispositivo antes do processamento.