github llama.cpp · há 1 h · inference

llama.cpp b10505 adiciona a opção de preset dedup-cache-models

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10505, que introduz uma nova opção de preset `dedup-cache-models` para o componente do servidor.

O lançamento inclui binários para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.
O suporte ao KleidiAI para macOS Apple Silicon está desativado nesta compilação.
O suporte ao Ubuntu x64 ROCm 7.14 também está desativado.
Um novo pacote de interface do usuário está disponível para download junto com os binários específicos da plataforma.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

Quantização da Magnitude de Fourier do Cache KV dobra o comprimento do contexto com a mesma memória

ntrillard demonstra que quantizar o espectro de magnitude de Fourier dos valores de cache K e V para 4 bits, preservando a fase em precisão completa, alcança correspondência de tokens de 96,9% em relação à referência fp16 no Gemma-3-1B, uma melhoria de 5 a 10 vezes em comparação com a quantização padrão min-max.

github llama.cpp · há 4 d · 26 visualizações

llama.cpp adiciona suporte ao modelo Kimi-K3 com repacking MXFP4 e template de chat

O projeto llama.cpp adicionou suporte ao modelo de texto Kimi-K3, implementando sua arquitetura de atenção híbrida KDA (linear) + MLA (completa), juntamente com cinco recursos arquitetônicos específicos ausentes no Kimi-Linear-48B mais antigo.

github llama.cpp · há 4 d · 21 visualizações

llama.cpp b10447 redesenha o modelo de threads yield_to_queue

O projeto llama.cpp lançou a compilação b10447, que inclui um redesenho do modelo de threads `yield_to_queue`. Esta alteração envolve executar `common_speculative_process` no worker e trocar o design da thread worker para a principal.

github llama.cpp · há 4 d · 21 visualizações

llama.cpp b10444 adiciona suporte a modelos assistentes MTP e remove eagle3

O projeto llama.cpp lançou a versão b10444, introduzindo suporte para carregar modelos assistentes de Previsão Multi-Token (MTP) através da flag `--models-dir`. Esta atualização também inclui verificação estrita de prefixo para modelos MTP em presets e remove o suporte ao tipo de rascunho eagle3.

github llama.cpp · há 5 d · 19 visualizações

llama.cpp b10442 adiciona Vulkan SHMEM_STRIDE_PAD para Intel Xe e corrige leitura fora dos limites

O projeto llama.cpp lançou a versão b10442, introduzindo otimizações específicas do Vulkan para hardware da Intel Xe enquanto aborda problemas de segurança de memória em rotinas de multiplicação de matrizes.