github llama.cpp · há 1 h · inference

llama.cpp b10447 redesenha o modelo de threads yield_to_queue

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10447, que inclui um redesenho do modelo de threads `yield_to_queue`. Esta alteração envolve executar `common_speculative_process` no worker e trocar o design da thread worker para a principal.

O lançamento fornece binários para macOS (Apple Silicon e Intel), Linux (Ubuntu com CPU, Vulkan, OpenVINO, SYCL e ROCm desativado), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL e ROCm 7.14) e openEuler (com algumas compilações desabilitadas).

Esta atualização está disponível para download nas plataformas suportadas.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10444 adiciona suporte a modelos assistentes MTP e remove eagle3

O projeto llama.cpp lançou a versão b10444, introduzindo suporte para carregar modelos assistentes de Previsão Multi-Token (MTP) através da flag `--models-dir`. Esta atualização também inclui verificação estrita de prefixo para modelos MTP em presets e remove o suporte ao tipo de rascunho eagle3.

github llama.cpp · há 6 h

llama.cpp b10442 adiciona Vulkan SHMEM_STRIDE_PAD para Intel Xe e corrige leitura fora dos limites

O projeto llama.cpp lançou a versão b10442, introduzindo otimizações específicas do Vulkan para hardware da Intel Xe enquanto aborda problemas de segurança de memória em rotinas de multiplicação de matrizes.

github llama.cpp · há 1 d · 3 visualizações

llama.cpp b10434 passa reasoning_effort para templates

O projeto llama.cpp lançou a compilação b10434, que adiciona suporte para passar o parâmetro `reasoning_effort` para os templates Jinja. Esta alteração garante que os valores de `reasoning_effort` do OpenAI Chat Completions sejam armazenados e disponibilizados durante a geração.

github llama.cpp · há 2 d

llama.cpp b10418 adiciona suporte a memória fixa do host para SYCL

O projeto llama.cpp lançou a versão b10418, introduzindo suporte à memória fixa do host para melhorar o acesso à memória do Host para Dispositivo no SYCL. Esta atualização aborda problemas de segurança de threads na implementação do backend.

github llama.cpp · há 2 d · 4 visualizações

Backend OpenVINO do llama.cpp adiciona suporte ao Qwen3.5 e otimizações de memória

O projeto llama.cpp mesclou atualizações significativas em seu backend OpenVINO, principalmente habilitando o suporte à família de modelos Qwen3.5 e introduzindo várias técnicas de otimização de memória.