github llama.cpp · há 1 h · inference

llama.cpp b11454 adiciona suporte para K2 Horizon dense e MoVA

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11454, que introduz suporte para a arquitetura do modelo K2 Horizon, incluindo as variantes dense e Mixture-of-Value Attention (MoVA).

Adicionado código de conversão GGUF para K2 Horizon, carregamento de tensores, implementação do grafo de computação e registro do tokenizador.
Corrigida a divisão por regex Unicode para lidar corretamente com os requisitos específicos do K2-Horizon no Windows e outras plataformas.
Implementado suporte para modelos Jinja para índices de sequência nos filtros selectattr e rejectattr.
Habilitado suporte de chat para raciocínio e chamadas de ferramentas do K2 Horizon, incluindo aplicação do esquema de resposta e carregamento de metadados YaRN beta.

Esta atualização permite que os usuários executem modelos K2 Horizon localmente usando llama.cpp em vários backends.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11433 adiciona suporte à operação de pooling do Hexagon

O projeto llama.cpp lançou a versão b11433, que introduz suporte para operações de pooling na NPU Hexagon. Esta atualização inclui implementações para camadas de pooling 2D e 1D.

github llama.cpp · há 1 d · 25 visualizações

llama.cpp b11424 corrige escrita fora dos limites na memória compartilhada do Vulkan Flash Attention

O projeto llama.cpp lançou a versão b11424, que inclui uma correção para um erro de escrita fora dos limites da memória compartilhada no backend do Vulkan ao usar o Flash Attention.

github llama.cpp · há 2 d · 21 visualizações

llama.cpp b11413 adiciona atenção flash esparsa do Vulkan para K/V quantizados

O lançamento b11413 do llama.cpp introduz uma nova implementação de atenção flash esparsa em Vulkan que suporta tensores de Chave e Valor quantizados. Esta atualização aborda problemas de desempenho no método anterior de compactação, que era muito custoso para tarefas de decodificação com janelas de contexto grandes.

github llama.cpp · há 2 d · 25 visualizações

llama.cpp b11405 aplica tiles ao indexador lightning sobre chaves e tokens para 4 cabeças

A versão b11405 do llama.cpp atualiza o backend CUDA aplicando tiles ao indexador lightning sobre chaves e tokens para 4 cabeças, resolvendo problemas de desempenho com contagens pequenas de cabeças.

github llama.cpp · há 2 d · 33 visualizações

llama.cpp b11403 usa MMVF para mul_mat f16/bf16 fino em lotes pequenos

O projeto llama.cpp lançou a versão b11403, que inclui uma otimização de CUDA para usar o kernel MMVF para multiplicações de matriz f16 e bf16 finas em tamanhos de lote pequenos.