github llama.cpp · há 1 h · inference

llama.cpp b10781 corrige o engajamento do caminho de desquantização FA do Vulkan

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10781, que inclui uma correção para o caminho de desquantização da atenção rápida (FA) do Vulkan. A atualização resolve um problema em que o shader verificava incorretamente `nb[3]` mesmo quando `ne[3] == 1`, fazendo com que o caminho só fosse ativado quando o cache estivesse cheio.

Pula a verificação de `nb[3]` quando `ne[3] == 1` porque o shader nunca a lê para um único fluxo.
Resolve um erro de lógica em que as visualizações do cache carregavam o passo de buffer completo, reduzindo a verificação antiga para `n_kv == kv_size`.
Fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.

Esta correção garante que o caminho de desquantização FA do Vulkan seja ativado corretamente durante a inferência, em vez de ser restrito a estados de cache completo.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10780 aprimora a API do SYCL para suportar cópia peer-to-peer

O projeto llama.cpp lançou a versão b10780, que inclui uma melhoria específica no backend do SYCL. Esta atualização modifica a API para habilitar capacidades de cópia peer-to-peer para dispositivos SYCL.

github llama.cpp · há 2 h · 1 visualização

llama.cpp adiciona suporte para NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp introduz suporte para o modelo NVIDIA Nemotron-3-Puzzle-75B-A9B, habilitando inferência para esta arquitetura de Mixture of Experts. A atualização implementa infraestrutura para tamanhos de feed-forward de experts por camada variáveis e roteamento top-k, que são necessários porque o modelo tem 40 camadas MoE com valores distintos de n_ff_exp e top-k.

github llama.cpp · há 2 h · 1 visualização

llama.cpp b10777 reduz trabalho redundante no Q4_K multi-column MMVQ

O projeto llama.cpp lançou a compilação b10777, que inclui otimizações para o backend SYCL na multiplicação matriz-vetor (MMVQ) de múltiplas colunas com Q4_K. A atualização foca em reduzir trabalho computacional redundante por meio de estratégias de descompactação de pesos e reutilização de ativações.

github llama.cpp · há 8 h · 1 visualização

ggml-org lança llama.cpp b10774 com correção de cache KV para fine-tuning

O projeto ggml-org lançou a versão b10774 do llama.cpp, que inclui uma correção para o problema de falta de cache KV no módulo de fine-tuning.

github llama.cpp · há 9 h · 1 visualização

llama.cpp b10772 adiciona suporte a F16 ABS ao backend Hexagon HTP

A versão b10772 do llama.cpp amplia a cobertura de operações unárias F16 do backend Hexagon Tensor Processor (HTP) ao adicionar suporte à função de valor absoluto (ABS).