github llama.cpp · agora mesmo · inference

llama.cpp b10734 habilita a API de tensores Metal 4.0 no M5+/A19+

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10734, que inclui uma atualização para habilitar a API de tensores Metal 4.0 para dispositivos com chips M5+ ou A19+.

Solicita a versão da linguagem Metal 4.0 para a API de tensores.
Carrega os kernels da API de tensores a partir de uma metallib separada.
Corrige a ordem de compilação da metallib para os kernels da API de tensores.
Adiciona um teste de regressão da API de tensores com external-metallib.

Este lançamento fornece binários para macOS, iOS, Linux, Windows, Android e openEuler através de vários backends de hardware, incluindo CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL e OpenCL.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

ExLlamaV3 adiciona descarregamento para CPU para especialistas MoE e novos modelos GLM-5.3-Flash, Qwen3.8-Flash

Turboderp lançou atualizações significativas para o ExLlamaV3, introduzindo capacidades de descarregamento para CPU para especialistas de Mixture of Experts (MoE). A atualização também inclui suporte para os novos modelos GLM-5.3-Flash e Qwen3.8-Flash.

github llama.cpp · há 18 h · 2 visualizações

llama.cpp b10724 otimiza a restauração do estado kv-cache para reduzir cópias de 1.3M para 224

O projeto llama.cpp lançou a compilação b10724, que melhora significativamente o desempenho da restauração de células KV cache não contíguas agrupando leituras scatter por execução contínua.

github llama.cpp · há 20 h · 3 visualizações

llama.cpp b10721 corrige falha no WebGPU e adiciona suporte a CUDA 13.4 no Windows

O projeto llama.cpp lançou a compilação b10721, que inclui uma correção crítica para o backend do WebGPU e amplia o suporte de hardware no Windows.

github llama.cpp · há 22 h · 9 visualizações

llama.cpp b10718 estende a fusão MOE para specdec e multi-token

O projeto llama.cpp lançou a versão b10718, que inclui uma atualização significativa em seu backend CUDA. A mudança mais notável é a extensão da fusão Mixture of Experts (MOE) para suportar decodificação especulativa (specdec), abordando limitações anteriores onde a fusão MOE glu e topk-router era restrita a processar apenas um token por vez.

github llama.cpp · há 1 d · 4 visualizações

llama.cpp b10715 funde o codificador DFlash na injeção de cache KV

O projeto llama.cpp lançou a compilação b10715, que inclui uma otimização-chave na implementação do DFlash. O codificador DFlash agora é fundido diretamente no processo de injeção do cache KV durante a decodificação.