github llama.cpp · há 2 h · inference

llama.cpp b10442 adiciona Vulkan SHMEM_STRIDE_PAD para Intel Xe e corrige leitura fora dos limites

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10442, introduzindo otimizações específicas do Vulkan para hardware da Intel Xe enquanto aborda problemas de segurança de memória em rotinas de multiplicação de matrizes.

Adiciona as flags SHMEM_STRIDE_PAD e APPLY_SLM_A_RESHAPE para coopmat mul_mm na Intel Xe.
Corrige a estimativa de memória compartilhada para Intel SHMEM_STRIDE_PAD=0 em matmul_shmem_support.
Implementa alinhamento de linha de cache para kvalues_mxfp4 compartilhados para melhorar o manuseio de dados.
Resolve uma leitura fora dos limites (OOB) na inicialização de kvalues_mxfp4 após as alterações de preenchimento da linha de cache.
Restringe os ajustes de reshaping do SLM-A aos drivers da Intel Windows e reverte o preenchimento da linha de cache mxfp4 quando necessário.

Este lançamento fornece binários atualizados para macOS, Linux, Windows, Android e openEuler através dos backends CPU, Vulkan, CUDA, ROCm, OpenVINO e SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10434 passa reasoning_effort para templates

O projeto llama.cpp lançou a compilação b10434, que adiciona suporte para passar o parâmetro `reasoning_effort` para os templates Jinja. Esta alteração garante que os valores de `reasoning_effort` do OpenAI Chat Completions sejam armazenados e disponibilizados durante a geração.

github llama.cpp · há 2 d

llama.cpp b10434 passa reasoning_effort para templates

llama.cpp b10418 adiciona suporte a memória fixa do host para SYCL

Backend OpenVINO do llama.cpp adiciona suporte ao Qwen3.5 e otimizações de memória

llama.cpp b10414 adiciona suporte a TQ2_0 e otimiza o kernel mul_mv

llama.cpp b10354 corrige máscara de afinidade de CPU no Android