github llama.cpp · há 1 h · inference

llama.cpp b10418 adiciona suporte a memória fixa do host para SYCL

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10418, introduzindo suporte à memória fixa do host para melhorar o acesso à memória do Host para Dispositivo no SYCL. Esta atualização aborda problemas de segurança de threads na implementação do backend.

Adiciona suporte a ggml_backend_sycl_host_buffer_type_get_max_size para memória fixa do host.
Corrige um problema de segurança de thread no backend SYCL.
Inclui binários para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) e openEuler.
Fornece um pacote de UI unificado para todas as plataformas.

O lançamento permite uma transferência de dados mais rápida entre a memória do host e do dispositivo para hardware compatível com SYCL, garantindo estabilidade por meio de segurança de threads aprimorada.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

Backend OpenVINO do llama.cpp adiciona suporte ao Qwen3.5 e otimizações de memória

O projeto llama.cpp mesclou atualizações significativas em seu backend OpenVINO, principalmente habilitando o suporte à família de modelos Qwen3.5 e introduzindo várias técnicas de otimização de memória.

github llama.cpp · há 4 h · 1 visualização

llama.cpp b10414 adiciona suporte a TQ2_0 e otimiza o kernel mul_mv

O projeto llama.cpp lançou a compilação b10414, introduzindo suporte ao tipo de quantização ternária GGML_TYPE_TQ2_0 no backend Metal. Esta atualização também inclui otimizações no kernel mul_mv de tensores contíguos (cont).

github llama.cpp · há 3 d · 1 visualização

llama.cpp b10354 corrige máscara de afinidade de CPU no Android

O projeto llama.cpp lançou a versão b10354, que inclui uma correção para a máscara de afinidade de CPU sendo ignorada em dispositivos Android.

github llama.cpp · há 3 d · 2 visualizações

llama.cpp b10344 adiciona suporte MTP para modelos Nemotron

O projeto llama.cpp lançou a compilação b10344, que introduz o suporte à Multi-Token Prediction (MTP) especificamente para os modelos Nemotron e Nemotron Nano.

github llama.cpp · há 3 d · 1 visualização

llama.cpp adiciona arquitetura Granite-Switch com roteador no gráfico para seleção de LoRA por token

O projeto llama.cpp introduz suporte à arquitetura Granite-Switch, uma variante de modelo denso que apresenta N adaptadores LoRA embutidos, selecionados por token por meio de tokens de controle. Esta implementação substitui um índice global "pegajoso" (sticky) anterior, baseado em prova de conceito, por um mecanismo de atenção "roteador" causal no gráfico para resolver os índices dos adaptadores.