github llama.cpp · agora mesmo · inference

llama.cpp b10444 adiciona suporte a modelos assistentes MTP e remove eagle3

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10444, introduzindo suporte para carregar modelos assistentes de Previsão Multi-Token (MTP) através da flag `--models-dir`. Esta atualização também inclui verificação estrita de prefixo para modelos MTP em presets e remove o suporte ao tipo de rascunho eagle3.

common: suporte ao carregamento de modelos assistentes MTP com --models-dir
common: preset: verificar modelos MTP com prefixo estrito
lidar com outros tipos de rascunho
remover eagle3

O lançamento fornece binários para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10442 adiciona Vulkan SHMEM_STRIDE_PAD para Intel Xe e corrige leitura fora dos limites

O projeto llama.cpp lançou a versão b10442, introduzindo otimizações específicas do Vulkan para hardware da Intel Xe enquanto aborda problemas de segurança de memória em rotinas de multiplicação de matrizes.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b10434 passa reasoning_effort para templates

O projeto llama.cpp lançou a compilação b10434, que adiciona suporte para passar o parâmetro `reasoning_effort` para os templates Jinja. Esta alteração garante que os valores de `reasoning_effort` do OpenAI Chat Completions sejam armazenados e disponibilizados durante a geração.

github llama.cpp · há 2 d

llama.cpp b10442 adiciona Vulkan SHMEM_STRIDE_PAD para Intel Xe e corrige leitura fora dos limites

llama.cpp b10434 passa reasoning_effort para templates

llama.cpp b10418 adiciona suporte a memória fixa do host para SYCL

Backend OpenVINO do llama.cpp adiciona suporte ao Qwen3.5 e otimizações de memória

llama.cpp b10414 adiciona suporte a TQ2_0 e otimiza o kernel mul_mv