github llama.cpp · há 2 h · inference

llama.cpp b10273 corrige o comprimento do contexto do amostrador e remove janelas de contexto completo

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10273, abordando um problema crítico onde os amostradores baseados em histórico não podiam inferir o comprimento correto do contexto durante a inicialização devido a restrições do backend de amostragem.

Corrige -1 para 1024 em vez de ctx-len para os amostradores para corrigir erros de inicialização.
Define um padrão compartilhado de 64 para os amostradores baseados em histórico e remove o parâmetro context_size.
Fornece binários para macOS, Linux, Windows, Android e openEuler através de CPU, GPU (CUDA, Vulkan, ROCm, SYCL) e backends OpenVINO.

Esta atualização garante um comportamento estável do amostrador durante as fases iniciais de construção quando o llama_context completo ainda não está disponível.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10269 corrige reshape do dflash wo_a no carregamento

O projeto llama.cpp lançou a compilação b10269, que inclui uma correção para o problema de reshape do dflash wo_a durante o carregamento do modelo.

media Hugging Face Forums · há 7 h

Atenção Linear Causal O(N) com Gating de Decaimento e kernel Triton fundido

Um desenvolvedor abriu o código-fonte de uma arquitetura de Atenção Linear Causal O(N) com Gating de Decaimento, apresentando kernels de acumulação de estado fundidos Triton/CUDA projetados para contornar os gargalos do MHA quadrático.

github llama.cpp · há 7 h

llama.cpp b10262 adiciona GATED_LINEAR_ATTN ao backend Vulkan

O projeto llama.cpp lançou a compilação b10262, que introduz suporte para a operação GATED_LINEAR_ATTN em seu backend Vulkan. Esta atualização também inclui atualizações de documentação para operações Vulkan e remove uma constante de especificação GLA não utilizada.

github llama.cpp · há 10 h

llama.cpp b10259 permite reconfiguração de tensores durante o carregamento

O projeto llama.cpp lançou a compilação b10259, que introduz a capacidade de permitir a reconfiguração de tensores durante o processo de carregamento.

github llama.cpp · há 16 h

llama.cpp b10256 paraleliza o kernel de concatenação não contígua para SYCL

A versão llama.cpp b10256 inclui uma alteração para paralelizar o kernel de concatenação não contígua para dispositivos SYCL. A atualização modifica a geometria de lançamento de um grupo de trabalho de faixa única para um que utiliza `SYCL_CONCAT_BLOCK_SIZE`.